监控cpu使用率大于500%的任务并发送告警信息

背景:hadoop集群节点存在cpu告警的信息,不知道具体哪个应用造成cpu告警的,编写了脚本获取到占用cpu使用最高的前5个进程,并发送告警。
脚本逻辑:首先查到cpu占用率前五的进程,然后获取任务信息的接口,最后整理成告警信息发送。

#!/bin/bash
#监控cpu使用率最多的任务并发送告警信息
#date: 2022-3-6
#author by zjh

#发送告警
sendnotice(){
    url="http://192.168.1.100:8080/falcon/notice/send"
    alertMode="1"
    subject="Flink_Nodemanager_CpuUsed"
  
    notice_member="123456"
    content="$ctime\n机器IP-集群:$1\n任务ID-用户:$2\nCpu占用率:$3"
    #告警内容格式
    data="{\"alertMode\": \"${alertMode}\",\"subject\": \"${subject}\",\"userId\": \"${notice_member}\",\"content\": \"${content}\"}"
    echo $data

    #请求接口
    cmd="curl -s -X POST -H 'Content-type':'application/json' -d '${data}' ${url}"
    sh -c "$cmd"
}

#获取集群信息
clustername=`grep '>hdfs' /app/hadoop-conf/core-site.xml|awk -F'/' '{print $3}'|cut -d'<' -f1`
host=`hostname --fqdn`
ip=`host $host  | awk '{print $NF}'`
ctime=`date +"%Y-%m-%d %H:%M"`
pidacpu=`ps -aux | grep yarn | sort -rn -k 3|head -5 |awk '{print $2}'`

for pidcpu in $pidacpu;
do
   echo $pidcpu
   cpuused=`ps -aux | grep yarn |grep $pidcpu |awk '{print $3}'|awk -F'.' '{print $1}'`
   jobinfo=`ps -ef | grep $pidcpu|awk -F'-Dlog.file=' '{print $2}'|cut -d'/' -f6|sort -r -n |uniq`
   if [ $jobinfo ];
   then
       #获取作业ID
       jobid=`su - yarn -c 'yarn application --list '| grep ${jobinfo}|awk '{print $2}'|awk -F'BDPF_xxx_FLINK_' '{print $2}'|awk -F'_' '{print $1}'`
       #请求接口获取任务人信息
       owner=`curl -s -X GET --header "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"  http://192.168.1.10:8080/v1/ws/taskinfo?taskid=$jobid |cut -d'"' -f5|awk -F'\' '{print $1}'`
   fi
   if [ "$cpuused" -ge "500" ];
   then
       echo $jobid $cpuused
       jobidcpu=`echo $jobid $cpuused`
       echo $ip $jobidcpu
       ipcluster=`echo $ip-$clustername`
       jobidowner=`echo $jobid-$owner`
       #告警信息:集群ip-集群 作业名称-责任人 cpu使用率
       sendnotice $ipcluster $jobidowner $cpuused\%
   fi
   #echo "-------------------"
done
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值