Scrapy——scrapyd的使用

安装scrapyd
安装scrapyd-client
安装curl

安装scrapyd-client后，scrapyd-deploy再windows下无法执行，需要
在虚拟环境的Scripts中新建scrapyd-deploy.bat,写入以下代码
例子，我的虚拟环境是venv3

@echo off
F:\sscrapy\venv3\Scripts\python F:\sscrapy\venv3\Scripts\scrapyd-deploy %*

启动scrapyd服务器，浏览器6800端口可以访问

scrapyd

修改scrapy.cfg

# Automatically created by: scrapy startproject
#
# For more information about the [deploy] section see:
# https://scrapyd.readthedocs.org/en/latest/deploy.html

[settings]
default = csdn.settings

#冒号后面是deploy的target，指定不同名字，可以发布到不同服务器
[deploy:demo] 
url = http://localhost:6800/
project = csdn 

[deploy:141] 
url = http://127.0.0.141:6800/
project = csdn 

cd到project的根目录，进行打包上传到scrapyd

scrapyd-deploy <target> -p <project> --version <version>

target就是前面配置文件里deploy后面的的target名字。
project 可以随意定义，跟爬虫的工程名字无关。不设定则使用scrapy.cfg中的
version自定义版本号，不写的话默认为当前时间戳。

启动爬虫

curl http://localhost:6800/schedule.json -d project=csdn -d spider=csdn