python
文章平均质量分 76
OliverQueence
主要关于爬虫技术
展开
-
windows下安装Python-scrapy爬虫框架
scrapy框架是一套比较成熟的Python爬虫框架,简单,使用起来非常方便。可以高效率的爬取web页面并从页面中提取结构化的数据。 安装 windows安装命令 pip install scrapy 安装报错: 解决错误: (1)、首先访问https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载安装twisted对应版本的whl文件...原创 2018-12-30 22:15:35 · 235 阅读 · 0 评论 -
windows下安装pyspider爬虫框架
pyspider是国人写的一款开源爬虫框架,采用python编写,分布式架构,支持多种数据库后端,强大的WebUI支持脚本编辑器、任务处理器、项目管理器以及结果查看器。 安装 windows安装pyspider,需要先安装pycurl依赖库,安装依赖后,再次安装pyspider pip install pycurl pip install pyspider 启动 打开cmd,输入...原创 2019-01-01 10:01:48 · 843 阅读 · 0 评论