hadoop-2.6.0如何编译,运行WordCount 程序

初学者写,只为备录

MAC系统下:(可能linux也差不多)

1:编译程序

*hadoop-2.6.0(可能2以上一样)的编译环境core包被分散在了hadoop-2.6.0/share文件下

javac -classpath $HADOOP_HOME/share/hadoop/common/hadoop-common-2.6.0.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.6.0.jar -d /Library/userDevtool/FirstJar WordCount.java

        *$HADOOP_HOME也可换成hadoop-2.6.0安装目录。WordCount.java(WordCount程序所在的目录/WordCount.java,我的放在hadoop安装目录的根目录下,我又cd进入到根目录下操作的。-d 后面跟的就是编译后存放的文件目录)

2:将编译结果打成jar包:

jar -cvf  FirstJar.jar /Library/userDevtool/FirstJar

*FirstJar.jar 就是打成jar包的名称,也可加目录。后面就是要打包的class所在的目录

3:在集群上创建输入路径

 bin/hadoop fs -mkdir /test/wordcount_nput

4:上传本地文件到hdfs的wordcount_nput下

bin/hadoop dfs -put /Library/userDevtool/hadoop-2.6.0/input/file* /test/wordcount_nput

5:在集群上运行WorldCount程序

bin/hadoop jar FirstJar.jar WordCount test/wordcount_nput /test/wordcount_output

6:查看输出文件

直接在控制台查看:bin/hadoop fs -cat /test/wordcount_output

或者把文件拷到本地查看:bin/hadoop dfs -get /test/wordcount_output /test/wordcount_output $HADOOP_HOME/output



  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值