猛禽的编程艺术

原创 重写了一下gcrawler

去年做过一个《gcrawler:一个基于gevent的简单爬虫框架》，当时因为是模仿Scrapy的，所以整个实现其实很不gevent，太难看，并且实际上效率也不高。这次因为要改写一个以前用Scrapy写的爬虫，于是就拿这个自己做的东西来用——去年其实也拿这个东西做过，只是有一段时间没用了。改写了一部分以后发现原来的代码有很多改进的方面，本来想修改修改就算了，不过改了一部分以后发现还是把整个结构重新