用hadoop自带的wordcount测试

版权声明:本文为博主原创文章,转载请标明出处: https://blog.csdn.net/u012343297/article/details/79978526

1、创建文件example.txt,并将其拷贝到hdfs的/user/root中

./hadoop fs -put /root/example.txt /user/root

2、执行hadoop-mapreduce-examples-2.8.0.jar

./hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar wordcount /user/root/example.txt /output

3、按照搭建集群这篇配置/opt/hadoop-2.8.0/etc/hadoop/mapred-site.xml,wordcunt会卡在INFO mapreduce.Job: map 0% reduce 0%

        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property

按照如上配置,则使用yarn来进行计算,那么必须启动nodemanager,

如果不使用yarn,进行mapreduce.job.tracker配置,也可以用MRv2来执行job,这样就不需要启动nodemanager:

<property>
        <name>mapreduce.job.tracker</name>
        <value>hdfs://hserver2:8001</value>
        <final>true</final>
<property>

这里写图片描述

修改后,重新运行wordcunt
这里写图片描述
4、查看输出的统计

./hadoop fs -cat /output/part-r-00000

这里写图片描述

至此,wordcunt测试完成。

阅读更多
换一批

没有更多推荐了,返回首页