![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy
doingSthing
这个作者很懒,什么都没留下…
展开
-
scrapy学习第三篇:创建spider_redis配置文件
#启用Redis调度存储请求队列 SCHEDULER = "scrapy_redis.scheduler.Scheduler" #确保所有的爬虫通过Redis去重 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" #默认请求序列化使用的是pickle 但是我们可以更改为其他类似的。PS:这玩意儿2.X的可以用。3.X的不...原创 2018-10-31 23:29:57 · 257 阅读 · 0 评论 -
scrapy学习第四篇:windows下安装scrapyd
首先安装 pip install scrapyd来进行管理scrapy项目 然后安装scrapyd_client来进行部署scrapy项目至scrapyd中 在scrapy项目中修改scrapy.cfg文件 [deploy] url = http://localhost:6800/addversion.json 然后cmd启动scrapyd 接着进入项目内部进行部署scrapyd-de...原创 2018-11-01 00:08:16 · 675 阅读 · 0 评论 -
scrapy学习第一篇:环境安装
pip install setuptools pip install lxml pip install pyOpenssl pip install scrapy 在执行安装scrapy的时候报如下错误 于是离线安装,win32位的这里安装,win64位的这里安装,执行pip install Twisted-18.7.0-cp36-cp36m-win_amd64.whl 然后安装pip...原创 2018-10-27 14:38:23 · 184 阅读 · 0 评论 -
scrapy学习第二篇:创建spider
使用命令scrapy startproject test1来创建第一个scrapy工程 cd test1 然后使用scrapy genspider -l 查看所有spider的模板 然后选择basic 模板创建一个spider: scrapy genspider -t basic first www.whu.edu.cn 然后进入spider目录编辑first.py文件,重写parse方法...原创 2018-10-27 15:27:17 · 419 阅读 · 0 评论