Linux下自动监控进程运行状态

背景

假设有一个服务需要长期运行，但可能会由于某种原因导致服务意外停止，不能及时发现，某天来到公司后发现出问题了才意识到服务挂了。此时再去手动重启服务可能已经造成很大损失了，那有没有办法可以自动监控服务运行状态，发现服务停止了自动拉起呢？如果你对Linux的定时任务crontab有所了解的话，很容易实现。如果还不了解crontab，请先阅读Linux定时任务之crontab一文。

应用举例

1、使用crontab+脚本监控服务

注意，crontab最小只支持分钟级的监控，如果需要秒级的监控频率，请参考方法2。
编写监控脚本：

#!/usr/bin/bash

log="/home/scripts/check.log"
pid=0
process_num=0
cpu_usage=0
mem_usage=0
# 要监控的服务名称
service_name="java"

# 日志文件不存在，就先创建
if [[ ! -e ${log} ]]; then
    touch ${log}
fi

function info()
{
    echo "[`date +'%F %T'` - INFO] - $1" >> ${log}
}

function warn()
{
    echo "[`date +'%F %T'` - WARN] - $1" >> ${log}
}

function error()
{
    echo "[`date +'%F %T'` - ERROR] - $1" >> ${log}
}

export -f info
export -f warn
export -f error

# 获取进程id
function proc_pid()
{
    pid=$(ps -ef | grep -v grep | grep ${service_name} | awk '{print $2}')
}

# 获取进程数量
function proc_num()
{
    process_num=$(ps -ef | grep -v grep | grep ${service_name} | wc -l)
}

# 获取cpu memory使用情况
function proc_cpu_mem_usage()
{
    process_info=$(top -bn1 -p ${pid} | tail -1)
    cpu_usage=$(echo ${process_info} | awk '{print $9}')
    mem_usage=$(echo ${process_info} | awk '{print $10}')
}


proc_num
if [[ ${process_num} -eq 0 ]]; then
    warn "${service_name} is not running!"
    # restart service
    # do something  ---  此处执行重启服务对应的命令，如  restart java （也可以是执行启动脚本，如sh xxx.sh start）
    proc_num
    proc_pid
    if [[ ${process_num} -eq 1 ]]; then
        info "${service_name} restart success(pid: ${pid})"
    fi
else
    proc_pid
    proc_cpu_mem_usage
    info "${service_name} is running(pid: ${pid} cpu_usage: ${cpu_usage} mem_usage: ${mem_usage})"
fi

添加监控脚本到定时任务中：
crontab -e打开编辑器，输入：
*/1 * * * * sh /home/scripts/check.sh，表示每分钟执行一次监控脚本。
查看输出的日志文件记录

这样就实现了每分钟监控一次进程的运行状态，如果服务停止则会自动拉起。

2、使用shell脚本监控服务

2.1 编写自定义监控脚本

如果想要实现秒级的监控频率，就需要自己写监控脚本了。下面是一个例子：

#!/usr/bin/bash

log="/home/scripts/check_1.log"
pid=0
process_num=0
cpu_usage=0
mem_usage=0
service_name="java"

if [[ ! -e ${log} ]]; then
    touch ${log}
fi

function info()
{
    echo "[`date +'%F %T'` - INFO] - $1" >> ${log}
}

function warn()
{
    echo "[`date +'%F %T'` - WARN] - $1" >> ${log}
}

function error()
{
    echo "[`date +'%F %T'` - ERROR] - $1" >> ${log}
}

export -f info
export -f warn
export -f error

function proc_pid()
{
    pid=$(ps -ef | grep -v grep | grep ${service_name} | awk '{print $2}')
}

function proc_num()
{
    process_num=$(ps -ef | grep -v grep | grep ${service_name} | wc -l)
}

function proc_cpu_mem_usage()
{
    process_info=$(top -bn1 -p ${pid} | tail -1)
    cpu_usage=$(echo ${process_info} | awk '{print $9}')
    mem_usage=$(echo ${process_info} | awk '{print $10}')
}



while true
do
    proc_num
    if [[ ${process_num} -eq 0 ]]; then
		warn "${service_name} is not running!"
		# restart service
		proc_num
		proc_pid
		if [[ ${process_num} -eq 1 ]]; then
			info "${service_name} restart success(pid: ${pid})"
		fi
    else
		proc_pid
		proc_cpu_mem_usage
		info "${service_name} is running(pid: ${pid} cpu_usage: ${cpu_usage} mem_usage: ${mem_usage})"
    fi
    # 此处的时间根据实际需要设置，单位为秒
    sleep 2
done

如果想要在脚本中添加对cpu、内存的使用情况监控，比如内存占用超过50%，cpu占用超过80%时告警，可以添加如下内容：

if [[ $(echo "${cpu_usage} > 80" | bc) -eq 1 ]]; then
    warn "CPU usage of ${service_name} is high(${cpu_usage}%)"
fi
if [[ $(echo "${mem_usage} > 50" | bc) -eq 1 ]]; then
    warn "Memory usage of ${service_name} is high(${mem_usage}%)"
fi

注意，此处比较大小用到了bc，这是因为bash本身只支持整数计算，不支持小数。在Linux系统中，bc是一款用于数学运算和数据处理的强大命令行工具，其名字代表"Basic Calculator"（基本计算器）。bc命令特别适用于处理浮点数和高精度数学运算，支持各种数学运算，如加减乘除、指数运算、取模、求平方根等。

2.2 运行脚本

1）直接运行：
执行sh /home/scripts/check.sh，直接运行脚本，如果终端窗口被关闭，进程会被kill。
2) 使用nohup放在后台不挂断地运行
nohup即使退出终端或关闭终端窗口，程序也会继续在后台运行。
nohup sh check1.sh 2>&1 &

关闭终端后，log中也能看到记录：

PS: 日志中的时间间隔可能不是严格的2s，这是因为执行命令也有时间损耗，积累到一定程度之后，就会出现和上一次的时间差大于2s。

此时如何关闭进程呢？使用ps查询进程即可：
ps -aux|grep check1.sh

查询到pid之后，使用kill -9 pid即可关闭进程

相比使用crontab创建的定时任务，脚本可以实现更小粒度的监控频率。