Ambari 集成azkaban 导致问题处理

 

集成教程，参考  https://github.com/leoChaoGlut/ambari-azkaban-service

集成之后启动

一、没有问题，但是stop出现错误：错误没有截图

1、查看AzkabanExecutorServer启动脚本 azkaban-executor-start.sh

在启动AzkabanExecutorServer的时候，会吧PID写入文件currentpid 中

2、查看AzkabanWebServer启动脚本，azkaban-web-start.sh

在启动AzkabanWebServer的时候，也会吧PID覆盖写入文件currentpid 中

3、错误描述

当顺序杀掉进程的时候，

先执行azkaban-executor-shutdown.sh

中kill_process_with_retry "${pid}" "${pname}" "${maxattempt}"  【具体代码在util.sh】

Kill 时杀死的PID是webserver，所以再执行检查是否还含有AzkabanExecutorServer进程的时候一直先显示1

检查脚本

azkaban_executor.py

执行的命令：export AZ_CNT=`ps -ef |grep -v grep |grep azkaban-exec-server | wc -l` && `if [ $AZ_CNT -ne 0 ];then exit 0;else exit 3;fi `

命令ps -ef |grep -v grep |grep azkaban-exec-server | wc –l常返回1，不退出

4、修复步骤：

vim azkaban-web-start.sh  修改pid文件

点击启动【事先手动杀死azkaban两个进程】

ll /usr/hdp/current/azkaban

此时有两个文件保存pid不混合

当然在kill进程的脚本中也要修改

vim bin/azkaban-web-shutdown.sh 改为对应文件

 

二、这时在ambari点击stop

发现还是有错误，一直检查不退出

 

1、还原stop时状态，手动杀死进程，然后start

2、执行ps aux|grep azkaban-exec-server

两个进程中加载了

azkaban-exec-server-0.1.0-SNAPSHOT.jar

azkaban-web-server-0.1.0-SNAPSHOT.jar

导致杀死一个后检查状态时还有一个包含azkaban-exec-server的进程，导致不退出

3、解决方法：

在启动脚本

azkaban-executor-start.sh

azkaban-web-start.sh

执行的时候互加载lib下面所有jar包

for file in $azkaban_dir/lib/*.jar;
do
    CLASSPATH=$CLASSPATH:$file
Done

1）修改azkaban-executor-start.sh

conf=$azkaban_dir/conf
filtr="web"
if [[ -z "$tmpdir" ]]; then
tmpdir=/tmp
fi

for file in $azkaban_dir/lib/*.jar;
do
  if [[ $file =~ $filtr ]];
  then
    echo ""
  else
    CLASSPATH=$CLASSPATH:$file
  fi
done

2）修改azkaban-web-start.sh

conf=$azkaban_dir/conf
filtr="exec"
if [[ -z "$tmpdir" ]]; then
tmpdir=/tmp
fi

for file in $azkaban_dir/lib/*.jar;
do
  if [[ $file =~ $filtr ]];
  then
    echo ""
  else
    CLASSPATH=$CLASSPATH:$file
  fi
done

在启动是不加载另一个包就行了，在azkaban启动后，点击stop

问题解决