- PySpider
- web界面编写调试脚本,启停脚本,监控执行状态,查看活动历史,获取产出结果:
- 提供SaaS服务,可以在线提交部署
- 支持MySQL、MongoDB、SQLite
- 原生支持抓取JavaScript页面
- 组件可替换,支持单机/分布式部署,支持Docker部署
- 具有强大的调控控制
- 灵活可扩展,稳定可监控
PySpider的设计基础:以python脚本驱动的抓取环模型爬虫。
PySpider的架构主要分为scheduler(调度器)、fetcher(抓取器)和processor(脚本执行器)
- Grap是一个基于pycurl/multicur构建的网络爬虫框架。它是一个比较完善的爬虫框架。但学习会比较难。
- Cola是一个分布式的爬虫框架,用户只需要编写几个特定的函数,而无需关注分布式运行的细节,任务会自动分配到多台机器上,整个过程对用户是透明的。
- Scrapy 一个基于twisted开发的可能是python世界中最出名也是使用者最多的爬虫框架。
- Portia----基于Scrapy的可视化爬虫。
- Restkit—Python的HTTP资源工具包。它可以让你轻松地访问HTTP资源,并围绕它建立对象。
具体的例子可查看:https://blog.csdn.net/Labiod/article/details/105551611