我认为使用scrapy写爬虫的都是交智商税的。
原因如下：
①爬虫归根到底都是使用 http request来请求页面内容，并对网页内容进行解析。scrapy底层与requests库这块实现的功能是一样的。还不如requests库用的方便直接。
②scrapy架构比较复杂，如果你已经有自己的框架，这个scrapy是不合适的，太重了。
③scrapy需要学习曲线去掌握的，架构层次比较多，需要时间掌握。
④爬虫的核心不在于架构在于解决反爬虫的机制，同样scrapy这个架构没解决这个问题。
⑤如果你需要多线程并发，分布式，使用flask+request+多线程，这种简单有效高效的方式不灵活，不香么?
3424
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
