hadoop统计单词数量小案例

       在以上几篇文章中我们已经搭建好了单机版的hadoop环境,下面我们就来运行一下hadoop 官网上的demo。统计一个文件夹中的xml文件中单词书此案的频率。

    首先我们将文件copy到某个目录里面,

  

这就是我们要统计的文件。

然后再通过hadoop执行 jar命令。

 hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount       /home/chenzhu/test/ /home/chenzhu/testoutput


其中 wordcount是 hadoop-mapreduce-examples-2.7.3.jar提供的方法 ,/home/chenzhu/test/ 是文件的开始目录,

/home/chenzhu/testoutput是文件输出目录,但是不能提前创建好,切记注意


执行命令后我们就可以看到


文件中 有两个文件 一个success 一个part文件 ,success表示成功

part表示结果输出。


查看一下就能看到每个单词出现的频率了。


  • 1
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值