hadoop集群优化(四)：开启历史任务服务器

说明

hadoop支持历史服务器功能，默认关闭，开启后，通过web可查看完成运行的MapReduce做的的信息记录，如Map和Reduce使用情况，任务的提交时间、运行开始时间、完成时间等信息。

分享

• 大数据博客列表
• 开发记录汇总
• 个人java工具库 项目https://gitee.com/wangzonghui/object-tool
  • 包含json、string、集合、excel、zip压缩、pdf、bytes、http等多种工具，欢迎使用。

操作

修改配置

• 登录 hadoop102节点 修改 /opt/module/hadoop-3.3.4/etc/hadoop/mapred-site.xml 增加如下配置

<!--历史服务器地址 内部通信端口 -->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>hadoop102:19888</value>
</property>

同步配置

• 控制台执行：xsync /opt/module/hadoop-3.3.4/etc/hadoop/mapred-site.xml

启动历史服务器

• 启动历史服务器，hadoop102节点执行：mapred --daemon start historyserver
  • –deamon：启动守护进程
• jps查看启动结果
  

查看jobHistory

• 浏览器打开地址：http://hadoop102:19888/jobhistory

总结

• 开启任务服务可增强对任务执行状态的查验，配合日志汇聚服务，加快任务的查看和异常追踪。
• 系统学习是一个缓慢的量变引发质变的过程，加油加油。