pyspider是国人写的一款开源爬虫框架,采用python编写,分布式架构,支持多种数据库后端,强大的WebUI支持脚本编辑器、任务处理器、项目管理器以及结果查看器。
-
安装
windows安装pyspider,需要先安装pycurl依赖库,安装依赖后,再次安装pyspiderpip install pycurl pip install pyspider
-
启动
打开cmd,输入pyspider,然后打开浏览器输入:http://localhost:5000, 然后就可以进入pyspider的后台了。
这里爬取屠夫网站,根据年代爬取相应标题,主演,链接,更新时间
编辑完成后保存
运行
查看结果
这里可以下载json文件
待更新。。。