pyspider和scrapy的区别

pyspider和scrapy的区别

1. pyspider提供 了 WebUI，爬虫的编写、调试都是在 WebUI 中进行的 。 而 Scrapy原生是不具备这个功能的，它采用的是代码和命令行操作，但可以通过对接 Portia实现可视化配置。
2. pyspider调试非常方便 ， WebUI操作便捷直观。 Scrapy则是使用 parse命令进行调试，方便程度不及pyspider。
3. pyspider支持 PhantomJS来进行 JavaScript谊染页面的采集 。 Scrapy可以对接Scrapy-Splash组件，这需要额外配置 。
4. pyspider中内置了 pyquery作为选择器。 Scrapy对接了 XPath、 css选择器和正则匹配。
5. pyspider 的可扩展程度不足，可配制化程度不高 。 Scrapy 可以 通过对接 Middleware、Pipeline、Extension等组件实现非常强大 的功能， 模块之间的稠合程度低，可扩展程度极高 。