参考:
http://www.datalab.sinaapp.com/?p=83
http://ju.outofmemory.cn/entry/72034
http://blog.itpub.net/15173958/viewspace-1142325/#_Toc384297233
http://blog.csdn.net/zythy/article/details/17397153
我的hadoop是2.3.0
安装eclipse的hadoop插件
可以自己编译,需要ant等,比较麻烦,所以直接用现成的。
http://pan.baidu.com/s/1hqGC6by
2.2的插件在2.3里面可以用。
下载后放置于eclipse的plugins中。
之后的配置可以参考
http://blog.itpub.net/15173958/viewspace-1142325/#_Toc384297233
如果需要用新的input文件,需要上传到hdfs
4、准备测试数据 micmiu-01.txt:
Hi Michael welcome to Hadoop more see micmiu.commicmiu-02.txt:
Hi Michael welcome to BigData more see micmiu.commicmiu-03.txt:
Hi Michael welcome to Spark more see micmiu.com把 micmiu 打头的三个文件上传到hdfs:
micmiu-mbp:Downloads micmiu$ hdfs dfs -copyFromLocal micmiu-*.txt /user/micmiu/test/input micmiu-mbp:Downloads micmiu$ hdfs dfs -ls /user/micmiu/test/input Found 3 items -rw-r--r-- 1 micmiu supergroup 50 2014-04-15 14:53 /user/micmiu/test/input/micmiu-01.txt -rw-r--r-- 1 micmiu supergroup 50 2014-04-15 14:53 /user/micmiu/test/input/micmiu-02.txt -rw-r--r-- 1 micmiu supergroup 49 2014-04-15 14:53 /user/micmiu/test/input/micmiu-03.txt micmiu-mbp:Downloads micmiu$5、配置运行参数 Run As → Run Configurations… ,在 Arguments 中配置运行参数,例如程序的输入参数: 6、运行 Run As -> Run on Hadoop ,执行完成后可以看到如下信息: