「Scrapy」爬虫状态反馈组件 v1.0.0

爬虫服务在服务器上跑着，心里面难免会犯嘀咕，
爬虫死掉了怎么办？
爬虫漏了数据怎么办？
爬虫被网站封禁了怎么办？
目标网站挂了怎么办？
返回页面错误或被跳转怎么办？
…

以上来自一个被迫害妄想症患者的自白(误)
一次性爬取数据可以通过人工看日志来判断，不行就多爬几遍，
但如果是放在服务器上定时爬取的服务怎么办？尤其是已经部署在Docker中的爬虫服务。
如果每天都登进服务器查看Scrapy本地的日志信息，还是很麻烦的。
那么我们就需要一个特定的日志来存放我们的统计数据，每天爬取完毕后发送邮件给管理员。
这样的话爬虫出现问题时管理员就能很快知道，还要能够统计爬取的数据。
本文主要描述尝试在Scrapy爬虫的过程中构建工具的思路与体验，代码写的太水就算了(捂脸)
在Scrapy框架中本身内置Logging，但因为是初学Scrapy，不会构建自己的框架。
因为Logging模块「Level Info」输出就会多出很多无用的信息，排版不清晰和没法提醒等问题。
所以在Scrapy.logging输出日志到文件的基础上，写了自己的日志统计工具来监控爬虫的状态。

设计思路

在爬虫书写的过程中遇到的问题还是很多的，比如：

目标网站宕机或请求错误(404,500,503)
指定DOM不存在或Response.text返回错误内容
网站请求池过载
触发假数据或IP被封禁
数据库报错或操作失败
…

除此之外还希望能够统计以下的数据，比如：

爬取成功的分页条数
爬过的信息条数
已有数据的重复条数
爬虫开始时间 / 结束时间 / 耗时
…

图的左边是爬虫的基本流程，中间部分是触发事件，右侧是执行的统计操作

整理之后得到以下JSON格式来存储统计信息

stat.log = {
'time': { # 全局时间
'start_time': 0, # 爬虫开始时间
'end_time': 0, # 爬虫结束时间
'consume_time': 0, # 爬虫总耗时
},
'spider1': { # 爬虫1的信息
'request_sucess': 0, # 分页请求成功
'request_error': 0, # 分页请求失败
'data_crawl': 0, # 爬过的数据项 (爬虫发现的总条目
'data_new': 0, # 新增的数据项 (不重复并成功写库的
'data_error': 0, # 错误的数据项 (数据项内容请求错误的
'data_illegal': 0, # 违规的数据项 (数据项格式检查错误的
'data_repeat': 0, # 重复的数据项 (数据库中已有重复数据
'db_error': 0, # 数据库错误项 (数据库连接错误等
'db_operate': 0, # 数据库操作项 (读写等操作返回值异常
},
'spider2': { # 爬虫2的信息
'request_success': 0, # ...
# ...
}
# ...
}


收集反馈

Scrapy的全局执行可以异步执行所有爬虫，
在打开爬虫前初始化时间，结束后记录结束时间并计算耗时

Scrapy管道(pipelines.py)中有从父类继承来的方法 open_spider()，
在管道中实例化类，实例化后存储json中初始化对应数据字段。
从数据库中提取已爬取的条数，并打印反馈。

Scrapy中间件(middlewares.py)中爬虫打开和页面请求进行标注。
spider_opened() 触发显示爬虫打开。
process_spider_input() 当页面请求后触发方法，判断如果是200成功请求，记录请求成功。
在记录请求成功后输出当前爬虫的json日志，防止爬虫进程意外中断看不到记录的情况。
process_spider_exception() 当页面404,500,503…异常时触发该方法，记录请求错误。

在爬虫执行中判断数据的重复/缺少字段/错误/新增等情况

日志输出

日志的输出情况如下

日志的结尾的输出

完整代码

代码写的实在太糟糕了，初学见谅