pyspider爬虫框架(增量爬虫)

pyspider: 爬虫框架, 基于puquery实现的.

优势:

1. 基于多线程异步的任务调度方式; 可以实现爬虫的高并发爬取, 注意使用代理;

2. 它提供了一个WedUI的爬虫任务管理界面, 可以实现爬虫的停止, 启动, 调试, 支持定时爬取任务;

3. 代码简洁;

4. 支持动态网站的爬取; requests/urllib只能爬取静态网站. phantomjs

phantomjs: 幽灵浏览器, 无界面版的浏览器.

劣势:

可扩展性不强;

整体上来说: 一些订制性高的, 需要自己定义一些功能的时候可以使用Scrapy, 而一些定制性不高, 不需要太多自定义功能时使用pyspider;

装饰器的使用

--------------------- 

原文：https://blog.csdn.net/qq_42336549/article/details/80698813