如何在linux下开发mapreduce应用程序（基于单机）

开发环境：

操作系统：ubuntu10.10

jdk：java version "1.6.0_20"  （ps：这个版本一定要在1.6以上），这个可以通过ubuntu软件中心下载

IDE：Eclipse

 

 

步骤：

1.下载hadhoop：到http://hadoop.apache.org/下载，我下载的是hadoop-0.20.2.tar.gz，解压；

2. 解压后，在hadoop-0.20.2/contrib/eclipse-plugin/下有hadoop-0.20.2-eclipse-plugin.jar，将这个jar包拷贝到eclipse安装目录下的plugins里，然后打开eclipse，点击主菜单上的window—preferences，在左边栏中找到Hadoop Map/Reduce，点击后在右边对话框里设置hadoop的安装路径即主目录；

3.在eclipse中创建一个MapReduce Project，点击eclipse主菜单上的File—New—Project，在弹出的对话框中选择MapReduce Project，之后输入Project的名字；

4.测试：在hadoop-0.20.2/src/examples/org/apache/hadoop/examples目录下有个WordCount.java，将它加到project的src，在project的目录下创建一个in文件夹，在这个文件夹里面创建一个文本文件，里面写些东西，在run configurations的program arguments中加入in 和out就可以运行了；

5.结果：运行完毕后，可以在project的目录下找到一个out文件夹，打开后，里面有一个文本文件，打开后就是单词的统计信息了，如下：

 

baby    1
come    1
on    1
wero    2
word    3

 

平台搭建成功，接下来就可以在上面开发自己的应用程序了.......