python3 定时任务，去监控网站运行情况

1、介绍

利用python定时地去指定的的网址上抓取网页标题，如果已预设的标题一致，则认为服务正常，否则认为服务异常。 如果服务异常，则发送邮件到开发人员的邮箱，提醒服务异常。

2、代码

1）requirements.txt

导入依赖库

pip install -r requirements.txt

requirements.txt 内容：

APScheduler==3.6.3
beautifulsoup4==4.9.3
bs4==0.0.1
email==6.0.0a1
pytz==2020.4
six==1.15.0
soupsieve==2.0.1
tzlocal==2.1

2）emailSend44.py

import smtplib
from email.header import Header
from email.mime.text import MIMEText

# 第三方 SMTP 服务
mail_host = "smtp.163.com"  # SMTP服务器
mail_user = "XXXXXX@163.com"  # 用户名
mail_pass = "VVVVVVVVVVV"  # 授权密码，非登录密码，163邮箱有此功能。

sender = 'XXXXX@163.com'  # 发件人邮箱
receivers = "YYYYYYY@163.com"  # 接收邮件

title = '服务器异常'
content = '服务器异常，请及时处理'


def sendEmail():
    message = MIMEText(content, 'plain', 'utf-8')  # 内容, 格式, 编码
    message['Subject'] = title
    message['From'] = "{}".format(sender)
    message['To'] = receivers

    try:
        smtpObj = smtplib.SMTP_SSL(mail_host, 465)  # 启用SSL发信, 端口一般是465
        smtpObj.login(mail_user, mail_pass)  # 登录验证
        smtpObj.sendmail(sender, receivers, message.as_string())  # 发送
        print("邮件已经发关成功！")
    except smtplib.SMTPException as e:
        print(e)

if __name__ == '__main__':
    sendEmail()

3）mainTimer22.py

# coding=utf-8

from urllib import request
from bs4 import BeautifulSoup
import emailSend44 as email444
from apscheduler.schedulers.blocking import BlockingScheduler

addr = "https://tech.ifeng.com/c/81dln15AOMB"  # 设定抓取网址
hope_title = "嫦五发射成功！创下五个“首次”！一图了解这次“挖土”之旅_凤凰网"  # 预期的标题内容
# addr = "http://www.bjp2p.com.cn/news/20200224001"  # 设定抓取网址
# hope_title = "人民银行：多措并举，彻底化解互联网金融风险"  # 预期的标题内容

class CSDNSpider:

    # 初始化爬取的页号、链接以及封装Header
    def __init__(self, url=addr):
        self.url = url
        self.header = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36",
        }

    # 请求网页得到BeautifulSoup对象
    def getBeautifulSoup(self):
        # 请求网页
        req = request.Request(self.url, headers=self.header)
        res = request.urlopen(req)
        print(res.status)

        # 以html5lib格式的解析器解析得到BeautifulSoup对象
        # 还有其他的格式如：html.parser/lxml/lxml-xml/xml/html5lib
        soup = BeautifulSoup(res, 'html.parser')
        # print(soup)
        return soup

    def check(self):
        spider = CSDNSpider()
        content = spider.getBeautifulSoup()
        title = content.find("title").get_text();
        print(title)
        if title != hope_title:
            print("服务器异常")
            email444.sendEmail()


def job():
    print("定时任务启动")
    spider = CSDNSpider()
    spider.check();


if __name__ == "__main__":
    scheduler = BlockingScheduler()
    scheduler.add_job(job, 'interval', seconds=5)  # 单位是秒
    scheduler.start()
    # job()

3、启动

运行脚本：

python   mainTimer22.py 

控制台打印：

定时任务启动
定时任务启动
定时任务启动

说明： 如果出现异常，可能是代码的依赖库引用错误外，也可能是网站做反爬处理，可以换个网站试试。