安装scrapyd
安装scrapyd-client
安装curl
安装scrapyd-client后,scrapyd-deploy再windows下无法执行,需要
在虚拟环境的Scripts中新建scrapyd-deploy.bat,写入以下代码
例子,我的虚拟环境是venv3
@echo off
F:\sscrapy\venv3\Scripts\python F:\sscrapy\venv3\Scripts\scrapyd-deploy %*
启动scrapyd服务器,浏览器6800端口可以访问
scrapyd
修改scrapy.cfg
# Automatically created by: scrapy startproject
#
# For more information about the [deploy] section see:
# https://scrapyd.readthedocs.org/en/latest/deploy.html
[settings]
default = csdn.settings
#冒号后面是deploy的target,指定不同名字,可以发布到不同服务器
[deploy:demo]
url = http://localhost:6800/
project = csdn
[deploy:141]
url = http://127.0.0.141:6800/
project = csdn
cd到project的根目录,进行打包上传到scrapyd
scrapyd-deploy <target> -p <project> --version <version>
target就是前面配置文件里deploy后面的的target名字。
project 可以随意定义,跟爬虫的工程名字无关。不设定则使用scrapy.cfg中的
version自定义版本号,不写的话默认为当前时间戳。
启动爬虫
curl http://localhost:6800/schedule.json -d project=csdn -d spider=csdn