1.5)hadoop学习配置日志的聚集

1.4) hadoop学习配置历史服务器

1.接着4上面我们这配置完了History

1.1点击history跳到另一个页面

跳到了另一个界面我们点击log按钮


就是说没有配置log

2.接下来我们开始配置日志聚集

2.1配置日志

2.2）配置yarn-site.xml

<!-- 开启日志聚集功能 -->
<property>
	 <name>yarn.log-aggregation-enable</name>
	 <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property> 
	 <name>yarn.log.server.url</name> 
	 <value>http://hadoop51:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为 7 天 -->
<property>
	 <name>yarn.log-aggregation.retain-seconds</name>
	 <value>604800</value>
</property>

配置完分发到52 53 服务器上去

[root@hadoop51 hadoop-3.1.3]# xsync etc/hadoop/yarn-site.xml

2.3）关闭nodeManager ResourceManager和 HistoryServer

#在hadoop52上关闭yarn
[root@hadoop52 hadoop-3.1.3]#  sbin/stop-yarn.sh
#在hadoop51上关闭historyServer
[root@hadoop51 hadoop-3.1.3]#  mapred --daemon stop historyserver

2.4)启动nodeMannger，ResourceManager和HistoryServer

#在hadoop52上关闭yarn
[root@hadoop52 hadoop-3.1.3]#  sbin/start-yarn.sh
#在hadoop51上关闭historyServer
[root@hadoop51 hadoop-3.1.3]#  mapred --daemon start historyserver

2.5）删除之前执行留下的文件夹

hadoop fs -rm -r /output

2.6再次执行那个任务

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

我们之前执行的还是没有日志的所以我们要从新执行一个任务点击log

我们就能看到日志了

方便我们后期排查错误
1.6)Hadoop集群启动停止的方式和常用端口号总结
1.7)hadoop学习之常见的错误以及解决方案