完全实现WordCount程序
首先我看的是这一篇文章:http://blog.csdn.net/xiaotom5/article/details/8080595#
[置顶] Ubuntu下eclipse开发hadoop应用程序环境配置
从头到尾都是按照他讲的,
然后自己安装的时候发现里一些错误,所以在网上有找里一篇文章,感觉也很不错
http://phz50.iteye.com/blog/932373
Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
我重做了这一步:配置完后退出。点击DFS Locations-->myubuntu如果能显示文件夹(2)说明配置正确,如果显示"拒绝连接",请检查你的配置。 就ok里。
Map/Reduce Location中Advanced parameters中的hadoop.job.ugi参数:
administrator,administrator,adm,cdrom,sudo,dip,plugdev,
lpadmin,sambashare
在[置顶] Ubuntu下eclipse开发hadoop应用程序环境配置中说要改,其实可以不改的:
ps:
我感觉后者比前者:
1.bin/hadoop fs -put input input01 后者hadoop fs -put /home/tanglg1987/file01.txt input
hadoop fs -put /home/tanglg1987/file02.txt input 前者
要厚道的多啊,同样是将input文件夹(里面有两个文件)上传到了hadoop文件系统了
2.前者是在源程序中
String[] arg = { "hdfs://localhost:9000/user/administrator/input", "hdfs://localhost:9000/user/administrator/output" };
而后者是要手动配置输入参数的:
第五步,运行项目。
1.在新建的项目hadoop-test,点击WordCount.java,右键-->Run As-->Run Configurations
2.在弹出的Run Configurations对话框中,点Java Application,右键-->New,这时会新建一个application名为WordCount
3.配置运行参数,点Arguments,在Program arguments中输入“你要传给程序的输入文件夹和你要求程序将计算结果保存的文件夹”,如:
在Arguments中添加 hdfs://localhost:9000/user/panhuizhi/input01 hdfs://localhost:9000/user/panhuizhi/output01 其实和前者是一样的啦。
ok,完成里,不过原理还是不太懂,正在学习当中啊,一起加油!