CDH服务监控，短信邮箱告警

背景

实现CDH服务出现异常能够及时通知。

脚本实现

#! /bin/bash
#异常服务出现次数累加数量
export count=0
#异常服务列表
export BADserver
#单次轮询标志位,0 无异常服务,1 有异常服务
export sc=0
#轮询次数累加数量
export lxcount=0 

while true
do
     # 每三分钟轮询 /home/azkaban/serveies.txt 里配置监控的cdh服务
     while read line
     do
     #调用cloudreaManager restAPI获取服务状态信息
     rs=`curl -u user:passwd -X GET http://hdh02.c.p.xyidc:7180/api/v33/clusters/EZCluster/services/$line|jq .healthSummary | sed 's/\"//g'`
     #单次轮询,有异常服务进入
     if [ ${rs} == "BAD" ];
     then
       #有异常服务，标志位置 1
       sc=1
       #异常服务累加
       count=$((count+1))
       #判断异常服务列表是否已包含当前坏的服务
       if [[ "$BADserver" =~ $line ]]
       then
         echo "------------------------------------------------------------------------------$line exits"
       else
        #没有包含，则加入坏的服务列表
        BADserver=$line,$BADserver
        echo "------------------------------------------------------------------------------BADserver=${BADserver%,}"
       fi    
      fi
     echo -----------------server=$line healthSummary=$rs  count=$count  lxcount=$lxcount------------------    
     done<serveies.txt
     
     #判断单次轮询,是否有服务异常
     if [ $sc -ge 1 ];
       then
       lxcount=$((lxcount+1))
       echo --------------------------------------------------------------------------------Have some server BAD!!!
     else
       echo --------------------------------------------------------------------------------All server not BAD now
       #无服务异常,将前面累计的count值置为0,异常服务列表置为空,表示前面异常的服务已经恢复正常
       count=0
       lxcount=0
       BADserver=
     fi
     #单次轮询完,将标志位置为0
     sc=0
     if [ $count -ge 6 -a $lxcount -ge 8 ];
         then
          message="不得了了,出大事啦,线上环境大数据服务${BADserver%,}状态异常！！！"
          #邮件发送
          #echo "$message" | mail  -s  "线上服务${BADserver%,}状态异常"  zhangxiping5@hikvision.com.cn
          #调用短信rest接口，进行短信告警发送
           curl "http://xxxx:8080/alarm/sendSms.do?mobile=1515813***5&body=${message}&type=0&producer=CDH"
          echo $message
          #增加hive服务异常处理,hive服务重启,服务重启完成短信通知
          if [[ "$BADserver" =~ "hive" ]];
           then
             echo "------------------------------------------------------------------------------restart hive " 
             msg="大数据线上集群hive服务状态异常,hive服务重启完成"
             #curl -u user:passwd -X post http://hdh02.c.p.xyidc:7180/api/v33/clusters/EZCluster/services/hive/commands/restart
             if [[ "$?" =~ "0" ]]
               then
                echo "$msg $BADserver $lxcount" 
               #curl "http://xxx:8080/alarm/sendSms.do?mobile=1515813**&body=${msg}&type=0&producer=CDH"
             fi
          fi
          lxcount=0
          count=0
    fi
    #轮询间隔时间
    sleep 3m
done
echo "-----------task is stoped!----------------"