告警系统邮件引擎、运行告警系统

最新推荐文章于 2025-12-05 17:02:52 发布

转载最新推荐文章于 2025-12-05 17:02:52 发布 · 137 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/AnnaWu/blog/1539764

文章标签：

#python #git #开发工具

本文详细介绍了一套告警系统的构建过程，包括核心组件mail.py和mail.sh的编写方法，通过定时任务每分钟执行的方式确保服务状态的有效监控，并在特定条件下发送告警邮件。

为什么80%的码农都做不了架构师？>>>

20.23/20.24/20.25 告警系统邮件引擎

邮件首先要有一个mail.py

脚本在此网址复制：
https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D22Z/mail.py

说明：在/usr/local/sbin/mon/mail/目录下创建mail.py

[root@quandong mail]# vim mail.py

        msg = MIMEText(unicode(content).encode('utf-8'))
#!/usr/bin/env python
#-*- coding: UTF-8 -*-
import os,sys
import getopt
import smtplib
from email.MIMEText import MIMEText
from email.MIMEMultipart import MIMEMultipart
from  subprocess import *
def sendqqmail(username,password,mailfrom,mailto,subject,content):
    gserver = 'smtp.163.com'
    gport = 25
    try:
        msg = MIMEText(unicode(content).encode('utf-8'))
        msg['from'] = mailfrom
        msg['to'] = mailto
        msg['Reply-To'] = mailfrom
        msg['Subject'] = subject
        smtp = smtplib.SMTP(gserver, gport)
        smtp.set_debuglevel(0)
        smtp.ehlo()
        smtp.login(username,password)
        smtp.sendmail(mailfrom, mailto, msg.as_string())
        smtp.close()
    except Exception,err:
        print "Send mail failed. Error: %s" % err
def main():
    to=sys.argv[1]
    subject=sys.argv[2]
    content=sys.argv[3]
##定义QQ邮箱的账号和密码，你需要修改成你自己的账号和密码（请不要把真实的用户名和密码放到网上公开，否则你会死的很惨）
    sendqqmail('1234567@qq.com','aaaaaaaaaa','1234567@qq.com',to,subject,content)
if __name__ == "__main__":
    main()

最核心的脚本--mail.sh

最核心的是mail.sh，因为在所有的子脚本中用到的全都是mail.sh

说明：mail.sh目的是为了做告警收敛的，做告警收敛的目的是：比如1分钟发生告警这一刻起就作为一个标记，某一个计时器就开始计时。 2-9分钟没有恢复正常也不告警，直到第10分钟还没有恢复正常就发一封邮件告警某服务已经过了10分钟还未恢复正常.

              
[root@quandong mail]# vim mail.sh 

log=$1
#定义时间戳
t_s=`date +%s`
#定义两个小时以前的时间戳
t_s2=`date -d "2 hours ago" +%s`
#判断/tmp/$log是否存在
if [ ! -f /tmp/$log ]
then      
#如果/tmp/$log不存在，那就生成一个，且第一行写入时间戳
      echo $t_s2 > /tmp/$log
fi
#截取时间戳
#如果/tmp/$log不存在，那就生成一个，且第一行写入时间戳
      echo $t_s2 > /tmp/$log
fi
#截取时间戳
t_s2=`tail -1 /tmp/$log/awk '{print $1}'`
#写入当前的时间戳
echo $t_s >>/tmp/$log 
#两个时间戳的比值差
v=$[$t_s-$t_s2]
echo $v
#判断$v是否大于1小时
if [ $v -gt 3600 ]
then
#如果$v大于一小时就告警
    ./mail.py  $1 $2 $3
#$log.txt作用是计数器
log=$1
#定义时间戳
t_s=`date +%s`
#定义两个小时以前的时间戳
t_s2=`date -d "2 hours ago" +%s`
#判断/tmp/$log是否存在
if [ ! -f /tmp/$log ]
then
#如果/tmp/$log不存在，那就生成一个，且第一行写入时间戳
      echo $t_s2 > /tmp/$log
fi
#截取时间戳
t_s2=`tail -1 /tmp/$log/awk '{print $1}'`
#写入当前的时间戳
echo $t_s >>/tmp/$log
#两个时间戳的比值差
v=$[$t_s-$t_s2]
echo $v
#判断$v是否大于1小时
if [ $v -gt 3600 ]
then
#如果$v大于一小时就告警
    ./mail.py  $1 $2 $3
#$log.txt作用是计数器
     echo "0" > /tmp/$log.txt
else
log=$1
#定义时间戳
t_s=`date +%s`
#定义两个小时以前的时间戳
t_s2=`date -d "2 hours ago" +%s`
#判断/tmp/$log是否存在
if [ ! -f /tmp/$log ]
then
#如果/tmp/$log不存在，那就生成一个，且第一行写入时间戳
      echo $t_s2 > /tmp/$log
fi
#截取时间戳
t_s2=`tail -1 /tmp/$log/awk '{print $1}'`
#写入当前的时间戳
echo $t_s >>/tmp/$log
#两个时间戳的比值差
v=$[$t_s-$t_s2]
echo $v
#判断$v是否大于1小时
if [ $v -gt 3600 ]
then
#如果$v大于一小时就告警
    ./mail.py  $1 $2 $3
#$log.txt作用是计数器
     echo "0" > /tmp/$log.txt
else
#判断/tmp/$log.txt是否存在
     if [ ! -f /tmp/$log.txt ]
     then
#如果/tmp/$log.txt不存在就创建
         echo "0" > /tmp/$log.txt
     fi
     nu=`cat /tmp/$log.txt`
     nu2=$[$nu+1]
     echo $nu2>/tmp/$log.txt
#判断$nu2是否大于10
     if [$nu2 -gt 10 ]
     then
#如果$nu2大于10，就告警
         ./mail.py $1 "trouble continue 10 min $2" "$3"
#当告完警之后重新计数
         echo "0" > /tmp/$log.txt
     fi
fi

20.26 运行告警系统

写一个任务计划

[root@quandong mail]# crontab -e

* * * * * cd /usr/local/sbin/mon/bin; bash main.sh

说明：每分钟执行main.sh

转载于:https://my.oschina.net/AnnaWu/blog/1539764