Ubuntu下eclipse开发hadoop应用程序环境配置的一些心得体会,与君共勉


完全实现WordCount程序
首先我看的是这一篇文章:http://blog.csdn.net/xiaotom5/article/details/8080595#
[置顶] Ubuntu下eclipse开发hadoop应用程序环境配置
从头到尾都是按照他讲的,


然后自己安装的时候发现里一些错误,所以在网上有找里一篇文章,感觉也很不错
http://phz50.iteye.com/blog/932373
Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序


我重做了这一步:配置完后退出。点击DFS Locations-->myubuntu如果能显示文件夹(2)说明配置正确,如果显示"拒绝连接",请检查你的配置。 就ok里。


Map/Reduce Location中Advanced parameters中的hadoop.job.ugi参数:
administrator,administrator,adm,cdrom,sudo,dip,plugdev,
lpadmin,sambashare
在[置顶] Ubuntu下eclipse开发hadoop应用程序环境配置中说要改,其实可以不改的:


ps:

我感觉后者比前者:

1.bin/hadoop fs -put input input01 后者

    hadoop fs -put /home/tanglg1987/file01.txt input  
    hadoop fs -put /home/tanglg1987/file02.txt input  前者
要厚道的多啊,同样是将input文件夹(里面有两个文件)上传到了hadoop文件系统了

2.前者是在源程序中
String[] arg = { "hdfs://localhost:9000/user/administrator/input", "hdfs://localhost:9000/user/administrator/output" };  
而后者是要手动配置输入参数的:
第五步,运行项目。

1.在新建的项目hadoop-test,点击WordCount.java,右键-->Run As-->Run Configurations
2.在弹出的Run Configurations对话框中,点Java Application,右键-->New,这时会新建一个application名为WordCount
3.配置运行参数,点Arguments,在Program arguments中输入“你要传给程序的输入文件夹和你要求程序将计算结果保存的文件夹”,如:
    在Arguments中添加    hdfs://localhost:9000/user/panhuizhi/input01 hdfs://localhost:9000/user/panhuizhi/output01  其实和前者是一样的啦。

ok,完成里,不过原理还是不太懂,正在学习当中啊,一起加油!


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值