背景:
因为oozie在最后查任务情况去进行状态转换的时候会依赖jobhistory,所以如果在直接停止jobhistory后oozie任务会被suspend,导致oozie 任务不能被转换成功状态。
如果有 jobhistory所在机器需要停机维修的情况,需要额外部署jobhistory服务在原jobhistory停服时为oozie 提供服务。
我们集群都是使用ambari管理,自己新起需要手动部署,jobhistory又会在hdfs上moveToDone,所以不能同时起两个否则有影响。
为了尽可能减少影响,步骤如下 :
1、 做起新jobhistory的准备,可选在另一台主节点上
(1)在mapred-site中修改,将地址指向自己
mapreduce.jobhistory.address
mapreduce.jobhistory.webapp.address
(2)准备jobhistory服务依赖路径,ambari版本需要
sudo mkdir -p /hadoop/mapreduce/jhs/mr-jhs-state
sudo chown -R mapred:hadoop /hadoop/mapreduce/jhs
(3)通知oozie 机器同步修改(1)中配置