pyspider: 爬虫框架,基于PyQuery实现的。

pyspider: 爬虫框架,基于PyQuery实现的。

优势:
1. 基于多线程异步的任务调度方式;可以实现爬虫的高并发爬取,注意使用代理;
2. 它提供了一个WebUI的爬虫任务管理界面,可以实现爬虫的停止,启动,调试,支持定时爬取任务;
3. 代码简洁;
4. 支持动态网站的爬取; requests/urllib只能爬取静态网站。phantomjs

phantomjs: 幽灵浏览器,无界面版的浏览器。

劣势:下载 phantomjs  网址:http://phantomjs.org/download.html
可扩展性不强;

整体上来说:一些定制性高的,需要自定义一些功能的时候可以使用Scrapy,而一些定制性不高,不需要太多自定义功能时使用pyspider;

同步执行的. 列表页 详情页

==================================================================

下载 phantomjs  网址:http://phantomjs.org/download.html

解压压缩包, 将bin中的phantomjs.exe复制


在cmd窗口先找到python.exe 的位置 将phantomjs.exe 粘贴过来的.

在命令窗口上敲pyspider all,  出现下面两个,  就是运行成功了.

然后在窗口上运行,如下图:则成功.可以创建文件进行爬取了

删除文件时:



页面如下:


没有更多推荐了,返回首页

私密
私密原因:
请选择设置私密原因
  • 广告
  • 抄袭
  • 版权
  • 政治
  • 色情
  • 无意义
  • 其他
其他原因:
120
出错啦
系统繁忙,请稍后再试

关闭