eclipse运行hadoop程序

 

参照hadoop-0.20.2/docs/quickstart.html

 

 

注:ssh-copy-id -i ~/.ssh/id_rsa.pub localhost，我的 用户名是fansxnet

 

 配置我们的hadoop伪分布式,打开下面的页面，配置成功。

 

• NameNode - http://localhost:50070/
• JobTracker - http://localhost:50030/

mapreduce 9001

hdfs  9000

添加hadoop的eclipse的插件并重起eclipse。

hadoop-0.20.2/contrib/eclipse-plugin/hadoop-0.20.2-eclipse-plugin.jar

配置插件

 

打开Map/Reduce Locations视图，New hadoop Locations

 

完成之后，就可以看到我们的分布式文件

 

新建我们的mapreduce项目hadoop

将hadoop自带的示例程序hadoop-0.20.2/src/examples/复制到我们的项目src目录下

本地新建一个input目录，里面新建两个文件

file1，内容如下

Hello World Bye World

file2，内容如下

Hello Hadoop Goodbye Hadoop

上传input文件夹到hdfs://localhost:9000/user/fansxnet/目录下

 

运行org.apache.hadoop.examples.WordCount.java

指定输入输出文件夹

hdfs://localhost:9000/user/fansxnet/input hdfs://localhost:9000/user/fansxnet/output

 

运行完之后刷新hdfs文件夹即可看到统计结果