Scrapy框架使用感受 使用一个框架最理想的状况是: 懂得其原理看得懂日志精通其配置 这样的框架就是很好用,用最好的代码做更多的事情,爬虫也就是一个工具而已,所以很多事情都可以通过框架来做,原本我通过java以及c++都写过爬虫,使用了scrapy后,发现那些都太弱了,顺带我总结了一下中小型爬虫系统都需要考虑的方面。 scrapy虽然已经很强大,但是在中断处理方面并没有给出好的方案,还需要开发者自己去实现,希望以后的版本可以支持到,我主要是java开发出生,否则我也可以为开源做一点贡献。