用hadoop自带的wordcount测试

1、创建文件example.txt,并将其拷贝到hdfs的/user/root中

./hadoop fs -put /root/example.txt /user/root

2、执行hadoop-mapreduce-examples-2.8.0.jar

./hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar wordcount /user/root/example.txt /output

3、按照搭建集群这篇配置/opt/hadoop-2.8.0/etc/hadoop/mapred-site.xml,wordcunt会卡在INFO mapreduce.Job: map 0% reduce 0%

        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property

按照如上配置,则使用yarn来进行计算,那么必须启动nodemanager,

如果不使用yarn,进行mapreduce.job.tracker配置,也可以用MRv2来执行job,这样就不需要启动nodemanager:

<property>
        <name>mapreduce.job.tracker</name>
        <value>hdfs://hserver2:8001</value>
        <final>true</final>
<property>

这里写图片描述

修改后,重新运行wordcunt
这里写图片描述
4、查看输出的统计

./hadoop fs -cat /output/part-r-00000

这里写图片描述

至此,wordcunt测试完成。

©️2020 CSDN 皮肤主题: 创作都市 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值