scrapyd安装
打开命令行工具输入
命令:pip install scrapyd
##启动scrapyd服务
在浏览器中输入127.0.0.1:6800
如图启动成功
- 关闭服务,新建一个文件夹(名字自定义但是建议起名与scrapyd有关系,方便记忆),进入该文件夹,在该路径下打开命令行工具,输入:scrapyd 命令并执行会多出一个abs的空文件夹,用来存放爬虫项目的数据文件。
如图:
- 安装scraoyd-client模块
简介:这个模块是专门用来打包scrapy爬虫的项目到scrapyd中。
安装过程:
(1).进入安装scraoyd的环境
(2).打开命令行工具执行命令:pip install scrapyd
(3).安装完后会在scrapyd中出现scrapyd-deploy,这个sc