hadoop集群优化(三)：开启日志汇聚服务

说明

hadoop平台有大量组件，上线后yarn执行全平台任务，各任务日志分散在集群各节点，为了高效追踪任务执行状态，确认异常时问题，hadoop提供了日志汇聚服务，并提供yarn页面查看，默认版本该功能关闭，需要配置开启。

分享

• 大数据博客列表
• 开发记录汇总
• 个人java工具库 项目https://gitee.com/wangzonghui/object-tool
  • 包含json、string、集合、excel、zip压缩、pdf、bytes、http等多种工具，欢迎使用。

操作

修改配置

• 登录hadoop102，修改文件 /opt/module/hadoop-3.3.4/etc/hadoop/yarn-site.xml 增加如下配置

  <!--开启日志聚集功能-->
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>

  <!-- 设置日志聚集服务器地址 -->
  <property>
    <name>yarn.log.server.url</name>
    <value>http://hadoop102:19888/jobhistory/logs</value>
  </property>

  <!-- 设置日志保留时间，单位秒 -->
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
  </property>

分发

• hadoop102 控制台执行：xsync /opt/module/hadoop-3.3.4/etc/hadoop/yarn-site.xml

重启集群

hadoop 自身脚本

• 关闭NodeManager、ResourceManager、HistoryServer

  • hadoop102 关闭historyServer服务：mapred --daemon stop historyserver
  • hadoop103 关闭yarn并重启： /opt/module/hadoop-3.3.4/sbin/stop-yarn.sh

• 启动：

  • hadoop103 启动yarn：/opt/module/hadoop-3.3.4/sbin/start-yarn.sh
  • hadoop102 启动历史服务器： mapred --daemon start historyserver

自定义脚本

• 使用自定脚本 myhadoop，重启整个集群：myhadoop restart

总结

• 日志记录程序执行信息，是追踪程序异常的重要依据，所有这个配置很关键，某些时候，程序本地环境测试ok，上线因为集群环境或数据引发异常，只能通过日志追踪修正。