思路:一个脚本包,包含有程序:主程序,子程序,配置文件,邮箱引擎,输出日志
主程序: 脚本的入口 脚本的命脉 bin
配置文件:是一个控制中心,用它来开关各种程序,指定各种相关的日志文件 conf
子文件 : 这是一个真正的监控脚本,用来监控各个指标。 shares
邮件引擎:是有python程序实现的,他可以定义发邮件的服务器,发邮件人一级发件人密码 mail
日志 :整个监控要有日志输出 log
bin /mail.sh 内容
#!/bin/bash
# 是否发送邮件的开关 (1为开, 0为关)
export send=1
# 过滤ip地址 -A1"自己的ip名称"
export addr=`/sbin/ifconfig |grep -A1 "ens192: "|awk '/inet/ {print $2}'`
dir=`pwd`
# 只需要最后一级目录名
last_dir=`echo $dir|awk -F'/' '{print $NF}'`
# 下面的判断目的是,保证执行脚本的时候,我们在bin目录里,不然监控脚本、邮件和日志很有可能找不到
if [ $last_dir == "bin" ] || [ $last_dir == "bin/" ]; then
conf_file="../conf/mon.conf"
else
echo "you shoud cd bin dir"
exit
fi
exec 1>>../log/mon.log 2>>../log/err.log
echo "`date +"%F %T"` load average"
/bin/bash ../shares/load.sh
#先检查配置文件中是否需要监控502
if grep -q 'to_mon_502=1' $conf_file; then
export log=`grep 'logfile=' $conf_file |awk -F '=' '{print $2}' |sed 's/ //g'`
/bin/bash ../shares/502.sh
fi
conf 下 mon.conf的内容:
## to config the options if to monitor
## 定义mysql的服务器地址、端口以及user、password
to_mon_cdb=0 ##0 or 1, default 0,0 not monitor, 1 monitor
db_ip=10.20.3.13
db_port=3315
db_user=username
db_pass=passwd
## httpd 如果是1则监控,为0不监控
to_mon_httpd=0
## php 如果是1则监控,为0不监控
to_mon_php_socket=0
## http_code_502 需要定义访问日志的路径
to_mon_502=0
logfile=/data/log/xxx.xxx.com/access.log
## request_count 定义日志路径以及域名
to_mon_request_count=0
req_log=/data/log/www.discuz.net/access.log
domainname=www.discuz.net
mail 下的
mail.py 的内容
import smtplib
from email.mime.text import MIMEText
import os,sys
def sendqqmail(username,password,mailfrom,mailto,subject,content):
mail_host = 'smtp.qq.com'
# 163用户名
mail_user = username
# 密码(部分邮箱为授权码)
mail_pass = password
# 邮件发送方邮箱地址
sender = mailfrom
# 邮件接受方邮箱地址,注意需要[]包裹,这意味着你可以写多个邮件地址群发
receivers = [mailto]
# 设置email信息
# 邮件内容设置
message = MIMEText(content, 'plain', 'utf-8')
# 邮件主题
message['Subject'] = subject
# 发送方信息
message['From'] = mailfrom
# 接受方信息
message['To'] = mailto
# 登录并发送邮件
try:
smtpObj = smtplib.SMTP()
# 连接到服务器
smtpObj.connect(mail_host, 25)
# 登录到服务器
smtpObj.login(mail_user, mail_pass)
# 发送
smtpObj.sendmail(
sender, receivers, message.as_string())
# 退出
smtpObj.quit()
print('success')
except smtplib.SMTPException as e:
print('error', e) # 打印错误
if __name__ == "__main__":
to=sys.argv[1]
subject=sys.argv[2]
content=sys.argv[3]
# 邮箱账号 授权码 发送人邮箱 (需要自己的账号,授权码 发送人邮箱)
sendqqmail('2085992494','gsrioqsdibujeffc','2085992494@qq.com',to,subject,content)
授权码获取方法:通弄过验证即可
mail.sh 的内容。
log=$2
t_s=`date +%s`
t_s2=`date -d "2 hours ago" +%s`
if [ ! -f /tmp/$log ]
then
echo $t_s2 > /tmp/$log
fi
t_s2=`tail -1 /tmp/$log|awk '{print $1}'`
echo $t_s>>/tmp/$log
v=$[$t_s-$t_s2]
echo $v
if [ $v -gt 3600 ]
then
python3 ../mail/mail.py "$1" "$2" "$3"
echo "0" > /tmp/$log.txt
else
if [ ! -f /tmp/$log.txt ]
then
echo "0" > /tmp/$log.txt
fi
nu=`cat /tmp/$log.txt`
nu2=$[$nu+1]
echo $nu2>/tmp/$log.txt
if [ $nu2 -gt 10 ]
then
python3 ../mail/mail.py $1 "trouble continue 10 min $2" "$3"
echo "0" > /tmp/$log.txt
fi
fi
shares 下的
load.sh 注意 :这里的邮箱是收件邮箱,改成自另一个不要与mail,py 内的重复,
#!/bin/bash
##Writen by ##
load=`uptime |awk -F 'average:' '{print $2}'|cut -d',' -f1|sed 's/ //g' |cut -d. -f1`
if [ $load -gt 10 ] && [ $send -eq "1" ]
then
/bin/bash ../mail/mail.sh 85948183@qq.com "$addr\_load:$load" "$addr `date +%T` load is $load"
fi
echo "`date +%T` load is $load"
502.sh
#!/bin/bash
d=`date -d "-1 min" +%H:%M`
c_502=`grep :$d: $log |grep ' 502 '|wc -l`
if [ $c_502 -gt 10 ] && [ $send == 1 ]; then
/bin/bash ../mail/mail.sh 2085992494@qq.com "$addr\_502 $c_502" "$addr `date +%T` load is $load"
fi
echo "`date +%T` 502 $c_502"
disk.sh 的内容
#!/bin/bash
##Writen by ##
rm -f ../log/disk.tmp
for r in `df -h |awk -F '[ %]+' '{print $5}'|grep -v Use`
do
if [ $r -gt 90 ] && [ $send -eq "1" ]
then
/bin/bash ../mail/mail.sh 2085992494@qq.com "$addr\_disk $r" "$addr `date +%T` disk useage is $r `df -h` "
echo "`date +%T` disk useage is nook `df -h`"
else
echo "`date +%T` disk useage is ok `df -h`"
fi
运行报警系统。测试lad报警
首先是让脚本每分钟运行一次 ,写入 crontab ( 测试时可不写入)
[root@elk ~]17:33:25 # cd /usr/local/sbin/mon/bin/
[root@elk bin]17:33:31 # crontab -e
* * * * * cd /usr/local/sbin/mon/bin; bash main.sh
我们要注释日志不然不会显示在显示屏上 :
[root@elk bin]17:36:25 # vi main.sh
。。。。。
# exec 1>>../log/mon.log 2>>../log/err.log
。。。。
由于没有502环境,所以我们要关闭下监控: to_mon_502=0
[root@elk mon]17:49:33 # vi conf/mon.conf
## http_code_502 需要定义访问日志的路径
to_mon_502=0
lad报警所以要修改lad.sh
[root@elk mon]18:03:44 # vi shares/load.sh
if [ $load -gt 0 ] && [ $send -eq "1" ]
做一个小脚本增加死循环
[root@elk ~]18:17:19 # cat 11.sh
#1 /bin/bash
i=999
while [ 1 ]
do
i*i
done
运行脚本:
[root@elk ~]18:17:26 # sh 11.sh
11.sh:行5: i*i: 未找到命令
11.sh:行5: i*i: 未找到命令
11.sh:行5: i*i: 未找到命令
11.sh:行5: i*i: 未找到命令
11.sh:行5: i*i: 未找到命令
11.sh:行5: i*i: 未找到命令
11.sh:行5: i*i: 未找到命令
查看系统负载:
[root@elk ~]18:19:52 # uptime
18:19:56 up 8 days, 17:45, 1 user, load average: 0.00, 0.01, 0.05
因为需要python3 直接安装:
[root@elk bin]18:22:58 # yum -y install python3
执行脚本:
[root@elk bin]18:22:45 # sh -x main.sh
+ export send=1
+ send=1
++ /sbin/ifconfig
++ awk '/inet/ {print $2}'
++ grep -A1 'ens192: '
+ export addr=10.30.59.203
+ addr=10.30.59.203