前几天自己负责的网站出现了不能访问的问题,系统监控程序通过告警将这一信息告诉了管理员。管理员找到了我,告诉我站点不能正常访问。后来问题查明,是负载均衡器出了问题。自己在检查站点的时候,发现有些图片不能正确显示,原因是图片链接无效。
后来我就在总结这次故障,监控程序只能检测几个配置的链接,不可能对整个站点所有链接进行检测,不然配置文件要写一大堆。如果是配置外的链接不能访问,那不是就没有办法告知管理员了吗,况且现在的监控程序也不能检查页面图片能否正常显示。如果每次都要人工去检查,那是相当不现实的,那我能不能写个小程序去实现自动检查,并把检查结果已邮件的形式发送给相关人员呢?于是我想到了,可以使用网络爬虫干这件事情,当然这个爬虫是定制版的,只爬当前站点。
首先创建一个控制台程序(其他类型的工程也可以),命名为WebResourceInspector。
新建三个文件:Inspector.cs,EmailHelper.cs,config.xml。结果如下:
其中Inspector.cs是监控类,里面利用HttpWebRequest实现数据爬取,分析。EmailHelper.cs是邮件帮助类,发送邮件。config.xml是爬取网站的配置文件。还有很多配置信息是写在app.config里面的。
工程里面用到两个dll,一个是log4net,这个是记录日志的,不多说了,