Hadoop之wordcount案例

Hadoop之wordcount案例

hadoop可以统计词语出现的次数
1.创建input文件夹
2.在文件夹中创建word.txt并编辑
3.之后如下操作

[admin@hadoop1002 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

2.配置历史记录

[admin@hadoop1002 hadoop-3.1.3]$ vim etc/hadoop/mapred-site.xml 

编辑如下

<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop1002:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop1002:19888</value>
</property>

分发下去

[admin@hadoop1002 hadoop-3.1.3]$ xsync etc/hadoop/mapred-site.xml

重启yarn.sh

[admin@hadoop1003 hadoop-3.1.3]$ sbin/stop-yarn.sh
[admin@hadoop1003 hadoop-3.1.3]$ sbin/start-yarn.sh

在 hadoop102 启动历史服务器

[admin@hadoop1002 hadoop-3.1.3]$ bin/mapred --daemon start historyserver

查看 JobHistory

http://hadoop1002:19888/jobhistory/app