在Hadoop2.2.0上运行Wordcount小程序

注:转载之>>>http://blog.itpub.net/21819287/viewspace-1119313/

1、如果hdfs没有启动,则在haoop主目录下启动:
 ./sbin/start-dfs.sh   
 ./sbin/start-yarn.sh   

2、查看状态,保证有数据节点在运行
./bin/hdfs dfsadmin -report

看到如下状态表示一切正常
Datanodes available: 1 (1 total, 0 dead)

这一步也可以用浏览器查看:http://localhost:50070

3、新建几个数据文件,如file1.txt,file2.txt,我是放到hadoop主目录下的examples目录里
examples/file1.txt 内容如下:
hello   www.isosee.com
hello   www.pmi.org.cn
hello   www.pmpway.com
hello   www.92pm.com

examples/file2.txt 内容如下:
pmpbox  ok
pmpbox  v1.0
pmpbox  online
I think pmpbox will help you!


4、把文件拷贝到hadoop文件系统
./bin/hadoop fs -mkdir /input
./bin/hadoop fs -put -f examples/file1.txt examples/file2.txt /input

5、运行 WordCount
./bin/hadoop jar ./share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.3.0-sources.jar org.apache.hadoop.examples.WordCount /input /output
运行中会显示进度。

6.
查看结果命令
./bin/hadoop fs -cat /output/part-r-00000

也可把结果从hdfs拷到文件系统中保存
./bin/hadoop fs -cat /output/part-r-00000


下面就是WordCount程序执行结果:
1
hello 4
help 1
ok 1
online 1
pmpbox 4
think 1
v1.0 1
will 1
www.92pm.com 1
www.isosee.com 1
www.pmi.org.cn 1
www.pmpway.com 1
you! 1


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值