win10 scrapyd的安装和部署

安装环境：

• win10
• python3.6.5

安装scrapyd

打开cmd，输入下列代码

pip install scrapyd

##验证安装：
cmd输入

scrapyd

在浏览器输入 http://127.0.0.1:6800/ 可查看：

部署scrapy项目

• 安装 scrapyd-client

cmd输入：

pip install scrapyd-client

在你python安装目录中的script目录下，新建scrapyd-deploy.bat文件，输入并保存：
@echo off
“D:\Program_SCI\Anaconda3\python.exe” “D:\Program_SCI\Anaconda3\Scripts\scrapyd-deploy” %1 %2 %3 %4 %5 %6 %7 %8 %9

• 创建项目
  通过cmd进入任意目录下，通过以下命令，在当前目录下创建项目：

scrapy startproject 项目名称

我的项目名称是 test_scrapyd，所以我输入的是：

scrapy startproject test_scrapyd

进而能在当前目录下发现出现了一个scrapy.cfg文件，打开，按下图更改（解除注释就是把开头的#号删除）

运行项目

在包含scrapy.cfg的目录下 cmd输入

scrapyd

另开一个cmd，进入包含scrapy.cfg的目录下，输入下列代码

scrapyd-deploy -l
scrapyd-deploy 部署名称 -p 项目名称

我的部署名称为 test
我的项目名称为 test_scrapyd
所以我输入的是：

scrapyd-deploy -l
scrapyd-deploy test -p test_scrapyd

打开 http://localhost:6800/ 可以看到：

项目运行成功

常规操作：

停止爬虫
curl http://localhost:6800/cancel.json -d project=scrapy项目名称 -d job=运行ID

删除scrapy项目
注意：一般删除scrapy项目，需要先执行命令停止项目下在远行的爬虫
curl http://localhost:6800/delproject.json -d project=scrapy项目名称

查看有多少个scrapy项目在api中
curl http://localhost:6800/listprojects.json

查看指定的scrapy项目中有多少个爬虫
curl http://localhost:6800/listspiders.json?project=scrapy项目名称

总结几个请求url
1、获取状态
http://127.0.0.1:6800/daemonstatus.json
2、获取项目列表
http://127.0.0.1:6800/listprojects.json
3、获取项目下已发布的爬虫列表
http://127.0.0.1:6800/listspiders.json?project=myproject
4、获取项目下已发布的爬虫版本列表
http://127.0.0.1:6800/listversions.json?project=myproject
5、获取爬虫运行状态
http://127.0.0.1:6800/listjobs.json?project=myproject
6、启动服务器上某一爬虫（必须是已发布到服务器的爬虫）
http://127.0.0.1:6800/schedule.json （post方式，data={“project”:myproject,“spider”:myspider}）
7、删除某一版本爬虫
http://127.0.0.1:6800/delversion.json
（post方式，data={“project”:myproject,“version”:myversion}）
8、删除某一工程，包括该工程下的各版本爬虫
http://127.0.0.1:6800/delproject.json（post方式，data={“project”:myproject}）