![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
菜鸟
文章平均质量分 65
lp554806217
这个作者很懒,什么都没留下…
展开
-
基于scrapy_redis部署分布式爬虫
#基于scrapy_redis部署分布式爬虫 1.使用命令行工具下载工具包 scrapy_redis 准备工作,主机需要开启redis服务,进入redis目录,在命令行工具中输入 redis-server redis-windows.conf 3.使用pycharm打开项目,找到settings文件,配置scrapy项目使用的调度器及过滤器 ...原创 2018-09-27 21:12:26 · 311 阅读 · 0 评论 -
scrapyd布署爬虫项目(继上篇)
如果用虚拟环境,先进入虚拟环境,接下来的步骤全部在虚拟环境里操作 1.打开命令行工具执行pip install scrapyd 2.在非C盘下新建一个文件夹,然后打开命令行工具,进入该文件,输scrapyd,启动scrapyd服务,执行完成后会新建一个dbs空文件夹,用来存放爬虫项目的数据文件(在爬虫运行之后可以在此文件中查看日志等数据) 3.安装scrapyd-client模块。scrapyd-...转载 2018-09-27 21:40:48 · 624 阅读 · 0 评论