背景
假设有一个服务需要长期运行,但可能会由于某种原因导致服务意外停止,不能及时发现,某天来到公司后发现出问题了才意识到服务挂了。此时再去手动重启服务可能已经造成很大损失了,那有没有办法可以自动监控服务运行状态,发现服务停止了自动拉起呢?如果你对Linux的定时任务crontab有所了解的话,很容易实现。如果还不了解crontab,请先阅读Linux定时任务之crontab一文。
应用举例
1、使用crontab+脚本监控服务
注意,crontab最小只支持分钟级的监控,如果需要秒级的监控频率,请参考方法2。
编写监控脚本:
#!/usr/bin/bash
log="/home/scripts/check.log"
pid=0
process_num=0
cpu_usage=0
mem_usage=0
# 要监控的服务名称
service_name="java"
# 日志文件不存在,就先创建
if [[ ! -e ${log} ]]; then
touch ${log}
fi
function info()
{
echo "[`date +'%F %T'` - INFO] - $1" >> ${log}
}
function warn()
{
echo "[`date +'%F %T'` - WARN] - $1" >> ${log}
}
function error()
{
echo "[`date +'%F %T'` - ERROR] - $1" >> ${log}
}
export -f info
export -f warn
export -f error
# 获取进程id
function proc_pid()
{
pid=$(ps -ef | grep -v grep | grep ${service_name} | awk '{print $2}')
}
# 获取进程数量
function proc_num()
{
process_num=$(ps -ef | grep -v grep | grep ${service_name} | wc -l)
}
# 获取cpu memory使用情况
function proc_cpu_mem_usage()
{
process_info=$(top -bn1 -p ${pid} | tail -1)
cpu_usage=$(echo ${process_info} | awk '{print $9}')
mem_usage=$(echo ${process_info} | awk '{print $10}')
}
proc_num
if [[ ${process_num} -eq 0 ]]; then
warn "${service_name} is not running!"
# restart service
# do something --- 此处执行重启服务对应的命令,如 restart java (也可以是执行启动脚本,如sh xxx.sh start)
proc_num
proc_pid
if [[ ${process_num} -eq 1 ]]; then
info "${service_name} restart success(pid: ${pid})"
fi
else
proc_pid
proc_cpu_mem_usage
info "${service_name} is running(pid: ${pid} cpu_usage: ${cpu_usage} mem_usage: ${mem_usage})"
fi
添加监控脚本到定时任务中:
crontab -e打开编辑器,输入:
*/1 * * * * sh /home/scripts/check.sh
,表示每分钟执行一次监控脚本。
查看输出的日志文件记录
这样就实现了每分钟监控一次进程的运行状态,如果服务停止则会自动拉起。
2、使用shell脚本监控服务
2.1 编写自定义监控脚本
如果想要实现秒级的监控频率,就需要自己写监控脚本了。下面是一个例子:
#!/usr/bin/bash
log="/home/scripts/check_1.log"
pid=0
process_num=0
cpu_usage=0
mem_usage=0
service_name="java"
if [[ ! -e ${log} ]]; then
touch ${log}
fi
function info()
{
echo "[`date +'%F %T'` - INFO] - $1" >> ${log}
}
function warn()
{
echo "[`date +'%F %T'` - WARN] - $1" >> ${log}
}
function error()
{
echo "[`date +'%F %T'` - ERROR] - $1" >> ${log}
}
export -f info
export -f warn
export -f error
function proc_pid()
{
pid=$(ps -ef | grep -v grep | grep ${service_name} | awk '{print $2}')
}
function proc_num()
{
process_num=$(ps -ef | grep -v grep | grep ${service_name} | wc -l)
}
function proc_cpu_mem_usage()
{
process_info=$(top -bn1 -p ${pid} | tail -1)
cpu_usage=$(echo ${process_info} | awk '{print $9}')
mem_usage=$(echo ${process_info} | awk '{print $10}')
}
while true
do
proc_num
if [[ ${process_num} -eq 0 ]]; then
warn "${service_name} is not running!"
# restart service
proc_num
proc_pid
if [[ ${process_num} -eq 1 ]]; then
info "${service_name} restart success(pid: ${pid})"
fi
else
proc_pid
proc_cpu_mem_usage
info "${service_name} is running(pid: ${pid} cpu_usage: ${cpu_usage} mem_usage: ${mem_usage})"
fi
# 此处的时间根据实际需要设置,单位为秒
sleep 2
done
如果想要在脚本中添加对cpu、内存的使用情况监控,比如内存占用超过50%,cpu占用超过80%时告警,可以添加如下内容:
if [[ $(echo "${cpu_usage} > 80" | bc) -eq 1 ]]; then
warn "CPU usage of ${service_name} is high(${cpu_usage}%)"
fi
if [[ $(echo "${mem_usage} > 50" | bc) -eq 1 ]]; then
warn "Memory usage of ${service_name} is high(${mem_usage}%)"
fi
注意,此处比较大小用到了bc
,这是因为bash本身只支持整数计算,不支持小数。在Linux系统中,bc是一款用于数学运算和数据处理的强大命令行工具,其名字代表"Basic Calculator"(基本计算器)。bc命令特别适用于处理浮点数和高精度数学运算,支持各种数学运算,如加减乘除、指数运算、取模、求平方根等。
2.2 运行脚本
1)直接运行:
执行sh /home/scripts/check.sh
,直接运行脚本,如果终端窗口被关闭,进程会被kill。
2) 使用nohup放在后台不挂断地运行
nohup即使退出终端或关闭终端窗口,程序也会继续在后台运行。
nohup sh check1.sh 2>&1 &
关闭终端后,log中也能看到记录:
PS: 日志中的时间间隔可能不是严格的2s,这是因为执行命令也有时间损耗,积累到一定程度之后,就会出现和上一次的时间差大于2s。
此时如何关闭进程呢?使用ps查询进程即可:
ps -aux|grep check1.sh
查询到pid之后,使用kill -9 pid
即可关闭进程
相比使用crontab创建的定时任务,脚本可以实现更小粒度的监控频率。