- 概念:应用程序运行完成之后,将程序运行日志信息上传到
HDFS
系统上; - 好处:可以方便的查看到程序运行详情,方便开发调试;
- 注意:开启日志聚集功能,需要诚信启动
NodeManager
,ResourceManager
和HistoryServer
。 - 开启步骤:
- 配置
yarn-site.xml
,在文件中添加如下内容:
<!-- 开启日志聚集功能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true<alue>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
<name>yarn.log.server.url</name>
<value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800<alue>
</property>
- 分发配置到所有服务器
[amelia@hadoop102 hadoop-2.7.2]$ xsync yarn-site.xml
- 关闭
NodeManager
,ResourceManager
和HistoryServer
单独关闭某个节点命令2.x
[amelia@hadoop102 hadoop-2.7.2]$ mr-jobhistory-daemon.sh stop historyserver
stopping historyserver
单独关闭某个节点命令3.x
[amelia@hadoop102 hadoop-2.7.2]$ mapred --deamon stop historyserver
停止YARN
[amelia@hadoop102 hadoop-2.7.2]$ sbin/stop-yarn.sh
重启YARN
[amelia@hadoop102 hadoop-2.7.2]$ sbin/start-yarn.sh
- 去
http://hadoop103:8088/
的history
的log
中查看,能查看到运行状况。