pyspider爬虫框架(增量爬虫)
pyspider: 爬虫框架, 基于puquery实现的.
优势:
1. 基于多线程异步的任务调度方式; 可以实现爬虫的高并发爬取, 注意使用代理;
2. 它提供了一个WedUI的爬虫任务管理界面, 可以实现爬虫的停止, 启动, 调试, 支持定时爬取任务;
3. 代码简洁;
4. 支持动态网站的爬取; requests/urllib只能爬取静态网站. phantomjs
phantom...
转载
2018-11-22 15:57:38 ·
240 阅读 ·
0 评论