Java程序CPU异常监控bash脚本

Java程序CPU异常监控bash脚本

契机

⚙ 最近线上Java程序CPU异常，暂时没有好的解决办法,故写个bash脚本去监听

思路

#使用jps获取java程序,忽略jps本身
jps -lv | grep java | grep -v Jps | awk '{print $1}'

#pid拿到cpu占用率
top -b -n 1 -p $pid | grep $pid | awk '{print $9}'

#jstack一下
jstack $pid > "/xxx.txt"

#非交互式的执行arthas脚本
java -jar arthas-boot.jar --select ./$jar_name -f .xx.sh

#arthas里面没有sleep程序,无法完成火焰图的等待,取巧使用dashbord，下面表示等待15s
dashboard -n 5 -i 3000

#dump文件
jmap -dump:format=b,file=/mnt/$pid.hprof $pid

成品

运行命令

nohup ./monitor.sh >> ./monitor.log 2>&1 &

主脚本:monitor.sh

#!/bin/bash

while true
do
    echo "$(date): 监控java"
    timestamp=$(date +%Y%m%d%H%M%S)
    # 获取所有名字中包含 "java" 进程的 PID，不包含jps
    for pid in $(jps -lv | grep java | grep -v Jps | awk '{print $1}')
    do
        # 获取每个进程的 CPU 和内存使用率
        cpu=$(top -b -n 1 -p $pid | grep $pid | awk '{print $9}')
        mem=$(top -b -n 1 -p $pid | grep $pid | awk '{print $10}')

        # 获取jar包名
        jar_name=$(jps | grep $pid | awk '{print $2}')

        echo "$(date): PID $pid - CPU : $cpu - Memory : $mem - 应用: $jar_name"

        # 如果 CPU 使用率超过 100%， 打印jstack arthas火焰图 arthas线程
        if [ $(echo "$cpu > 100" | bc) -eq 1 ]; then
            echo "$(date):  $jar_name , PID $pid cpu占用 $cpu 立即打印jstack arthas火焰图 arthas线程"
             cd /root/prod

             echo "$(date): 生成jstack文件 $jar_name $pid"
             jstack $pid > "/mnt/${jar_name}_${pid}_${timestamp}_jstack.txt"

             echo "$(date): 生成arthas文件 $jar_name $pid"
             java -jar arthas-boot.jar --select ./$jar_name -f ./arthas-profiler.sh
             mv /mnt/thread10.txt "/mnt/${jar_name}_${pid}_${timestamp}_thread10.txt"

        fi

        # 如果 CPU 使用率超过 300%，则结束该进程并重启，忽略xxxx
        if [ $(echo "$cpu > 300" | bc) -eq 1 ] && [[ "$jar_name" != *"xxxx"* ]]; then
            echo "$(date):  $jar_name , PID $pid cpu占用 $cpu 立即重启,并且打印dump文件"
             cd /root/prod
             #生成dump文件
             echo "$(date): 生成dump文件 $pid"
             jmap -dump:format=b,file=/mnt/$pid.hprof $pid
             #重启
             ./deploy.sh restart $jar_name
        fi

    done

    # 等待60秒
    echo "$(date): -----------------------------------------------------------------------------"
    sleep 60
done

副脚本:arthas-profiler.sh

thread -n 10 >> /mnt/thread10.txt
profiler start
dashboard -n 5 -i 3000
profiler stop
stop

总结

• arthas无法使用sleep命令
• dump文件很难分析cpu占用，主要靠火焰图,top,dashboard
• 这里是瞬间cpu占用,60秒一次一直扫

写到最后