运行简单的mapreduce计算

在$HADOOP_HOME下有个jar包,叫 hadoop-examples-1.1.2.jar,见图1.1,这里面含有框架提供的很多例子,我们现在学习一下如何运行其中的例子wordcount。
在这里插入图片描述

图1.1

执行如下命令:
hadoop jar hadoop-examples-1.1.2.jar
可以看到图 1.2 的输出信息,可以看到 18 个输出信息,都是内置的例子程序。我们选择最后一个“word count”来运行,该程序的说明在最后是统计文件中单词的出现次数的。
在这里插入图片描述

图1.2

如何执行这个程序呢?见图 1.3,命令如下
hadoop jar hadoop-examples-1.1.2.jar wordcount
在这里插入图片描述

图1.3

根据用法,我们需要补全 wordcount 的文件输入路径和文件输出路径。我们首先上传一个文件到 hdfs 中,见图 1.4。那么输入文件的路径就是/URL了。在这里插入图片描述

图1.4

这时候我们再运行 wordcount 例子,具体见图1.5,命令如下
hadoop jar hadoop-examples-1.1.2.jar wordcount /URL /wordcount
在这里插入图片描述

图1.5
等到命令执行结束,运行的结果就会存在输出路径的文件夹中,文件名称叫做“part-r-00000”,我们使用命令查看输出内容,如图 1.6 所示。
在这里插入图片描述

图1.6
显示结果是按照字符的字段顺序排列的,每一行显示字符及出现次数。这样一来我们看到的就是 hadoop 的 MapReduce 做的事情了。
通过一个简单的命令,就可以把文件中的单词统计一遍出现次数,还是很有意思的。以后我们需要自己编程实现相关的功能。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小鎮後生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值