hadoop 学习（五） 配置历史服务器和日志聚集

配置历史服务

进入目录 /opt/module/hadoop-2.7.7/etc/hadoop 

vim mapred-site.xml 

增加历史服务器的配置 

<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadooptest:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadooptest:19888</value>
</property>

 

hadooptest是本机hostname

启动历史服务 

 

sbin/mr-jobhistory-daemon.sh start historyserver  

启动后jps查看  

 

启动成功后进入页面  ip:19888 

 

配置日志聚集

进入目录 /opt/module/hadoop-2.7.7/etc/hadoop 

vim yarn-site.xml

<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

关闭NodeManager 、ResourceManager和HistoryManager

 sbin/yarn-daemon.sh stop resourcemanager

sbin/yarn-daemon.sh stop nodemanager

sbin/mr-jobhistory-daemon.sh stop historyserver

启动NodeManager 、ResourceManager和HistoryManager

 sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemon.sh start nodemanager

 sbin/mr-jobhistory-daemon.sh start historyserver

1. 删除HDFS上已经存在的输出文件

bin/hdfs dfs -rm -R /user/atguigu/output

1. 执行WordCount程序

 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /user/lcy/input /user/lcy/output

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

转载于:https://my.oschina.net/u/3618851/blog/3089516