爬虫PySpider框架

• PySpider
• web界面编写调试脚本，启停脚本，监控执行状态，查看活动历史，获取产出结果：
• 提供SaaS服务，可以在线提交部署
• 支持MySQL、MongoDB、SQLite
• 原生支持抓取JavaScript页面
• 组件可替换，支持单机/分布式部署，支持Docker部署
• 具有强大的调控控制
• 灵活可扩展，稳定可监控

PySpider的设计基础：以python脚本驱动的抓取环模型爬虫。

PySpider的架构主要分为scheduler（调度器）、fetcher(抓取器)和processor（脚本执行器）

• Grap是一个基于pycurl/multicur构建的网络爬虫框架。它是一个比较完善的爬虫框架。但学习会比较难。
• Cola是一个分布式的爬虫框架，用户只需要编写几个特定的函数，而无需关注分布式运行的细节，任务会自动分配到多台机器上，整个过程对用户是透明的。
• Scrapy 一个基于twisted开发的可能是python世界中最出名也是使用者最多的爬虫框架。
• Portia----基于Scrapy的可视化爬虫。
• Restkit—Python的HTTP资源工具包。它可以让你轻松地访问HTTP资源，并围绕它建立对象。

具体的例子可查看：https://blog.csdn.net/Labiod/article/details/105551611