![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 71
lp554806217
这个作者很懒,什么都没留下…
展开
-
基于scrapy_redis部署分布式爬虫
#基于scrapy_redis部署分布式爬虫1.使用命令行工具下载工具包 scrapy_redis准备工作,主机需要开启redis服务,进入redis目录,在命令行工具中输入redis-server redis-windows.conf3.使用pycharm打开项目,找到settings文件,配置scrapy项目使用的调度器及过滤器...原创 2018-09-27 21:12:26 · 323 阅读 · 0 评论 -
scrapyd布署爬虫项目(继上篇)
如果用虚拟环境,先进入虚拟环境,接下来的步骤全部在虚拟环境里操作1.打开命令行工具执行pip install scrapyd2.在非C盘下新建一个文件夹,然后打开命令行工具,进入该文件,输scrapyd,启动scrapyd服务,执行完成后会新建一个dbs空文件夹,用来存放爬虫项目的数据文件(在爬虫运行之后可以在此文件中查看日志等数据)3.安装scrapyd-client模块。scrapyd-...转载 2018-09-27 21:40:48 · 633 阅读 · 0 评论 -
Gerapy 分布式爬虫管理框架使用心得
要在远程服务器上布署自己的分布式爬虫,个人比较推荐gerapy爬虫管理框架。这里就详细介绍一下gerapy的用法。1.首先要下载grapy,同样如果使用虚拟环境做开发,以下操作全部在虚拟环境下进行,先进入命令行工具,进入虚拟环境,执行pip install gerapy2.安装之后进行初始化,执行gerapy init执行完毕之后,本地便会生成一个名字为 gerapy 的文件夹,接着进入该...原创 2018-09-27 22:17:51 · 905 阅读 · 0 评论