基于scrapy的开发

还是暑假前工作的总结 ： 因为要对搜狐页面进行可用性总结，所以得写一段代码。

毫无疑问，爬虫是首选。这里使用了scrapy

但是，scrapy并不能很好的解决我的问题，scrapy的爬取日志不符合我的需要，我需要对redirect行为进行记录，对404等异常进行处理，如果采用黑盒的方法进行基于scrapy的开发，显然不能符合我的需求，于是改代码。

成果：

• 使用了布隆过滤器过滤已经爬取的页面（页面自带符号避免缓存，也需要处理）
• 添加了自定义的日志写入
• 合理的日志处理
• 根据业务调整request和response的处理

地址 ：

https://github.com/xujianhai/sohu_auto/tree/develop

By 徐建海