配置HistoryServer

一:
默认情况下HistoryServer没有启动,需要使用sbin/mr-jobhistory-daemon.sh start historyserver 启动
二:
启动前需要在mapred-site.xml加上配置:

[hadoop@hadoop001 hadoop]$ pwd
/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop

寻找mapred-site.xml文件路径

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>127.0.0.1:10020</value>
</property>

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>127.0.0.1:19888</value>
</property>

<property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/history/done</value>
</property>


<property>
    <name>yarn.app.mapreduce.am.staging-dir</name>
    <value>/tmp/hadoop-yarn/staging</value>
</property>

<property>
    <name>mapreduce.task.io.sort.mb</name>
    <value>1024</value>
</property>

三:
启用日志聚集功能,默认为false,不打开则查看详细日志会报错

[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ sbin/mr-jobhistory-daemon.sh start historyserver

[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ jps
28144 NameNode
28433 SecondaryNameNode
29506 Jps
28582 ResourceManager
28682 NodeManager
28269 DataNode
29469 JobHistoryServer

ok了

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值