python
文章平均质量分 71
lp554806217
这个作者很懒,什么都没留下…
展开
-
基于scrapy_redis部署分布式爬虫
#基于scrapy_redis部署分布式爬虫 1.使用命令行工具下载工具包 scrapy_redis 准备工作,主机需要开启redis服务,进入redis目录,在命令行工具中输入 redis-server redis-windows.conf 3.使用pycharm打开项目,找到settings文件,配置scrapy项目使用的调度器及过滤器 ...原创 2018-09-27 21:12:26 · 309 阅读 · 0 评论 -
scrapyd布署爬虫项目(继上篇)
如果用虚拟环境,先进入虚拟环境,接下来的步骤全部在虚拟环境里操作 1.打开命令行工具执行pip install scrapyd 2.在非C盘下新建一个文件夹,然后打开命令行工具,进入该文件,输scrapyd,启动scrapyd服务,执行完成后会新建一个dbs空文件夹,用来存放爬虫项目的数据文件(在爬虫运行之后可以在此文件中查看日志等数据) 3.安装scrapyd-client模块。scrapyd-...转载 2018-09-27 21:40:48 · 617 阅读 · 0 评论 -
Gerapy 分布式爬虫管理框架使用心得
要在远程服务器上布署自己的分布式爬虫,个人比较推荐gerapy爬虫管理框架。 这里就详细介绍一下gerapy的用法。 1.首先要下载grapy,同样如果使用虚拟环境做开发,以下操作全部在虚拟环境下进行,先进入命令行工具,进入虚拟环境,执行pip install gerapy 2.安装之后进行初始化,执行gerapy init 执行完毕之后,本地便会生成一个名字为 gerapy 的文件夹,接着进入该...原创 2018-09-27 22:17:51 · 890 阅读 · 0 评论