Scrapy 西瓜皮框架

Scrapy框架使用感受

使用一个框架最理想的状况是:

1. 懂得其原理
2. 看得懂日志
3. 精通其配置

这样的框架就是很好用，用最好的代码做更多的事情，爬虫也就是一个工具而已，所以很多事情都可以通过框架来做，原本我通过java以及c++都写过爬虫，使用了scrapy后，发现那些都太弱了，顺带我总结了一下中小型爬虫系统都需要考虑的方面。
scrapy虽然已经很强大，但是在中断处理方面并没有给出好的方案，还需要开发者自己去实现，希望以后的版本可以支持到，我主要是java开发出生，否则我也可以为开源做一点贡献。