关于scrapyd爬虫项目命令多种使用方法与请求

关于对scrapyd爬虫使用命令几种方式（cmd命令行，cmder工具，通过py文件请求网址得到请求）

1，命令行

关于命令行的操作无需多言，基本操作，大概如下

 在爬虫项目文件下使用命令

2，cmder

首先下载cmder，并打开cmder.exe

 此时cmder窗口连接的是cmd命令窗口，如果有命令可直接在该窗口上使用

例如爬虫的启动和关闭

 cmder窗口显示结果与cmd窗口显示内容一致

3，通过py文件控制爬虫与检查爬虫的状态

首先在https://scrapyd.readthedocs.io/en/latest/api.html      了解关于scrapyd的多中命令信息

1，运行爬虫的请求（其中参数后面，required为必填，optional为可选）

 新建一个py文件例如（test.py）

添加url，将所需要的数据作为字典使用post/GET请求发送出去

得到的response的json格式即为获得的内容，例如（爬虫状态，爬虫项目数量等，网站上都有描述）

首先 import requests  导入请求网址的包

1）开始爬虫 

获取url，将爬虫名与项目名用post请求发送，得到response的json格式

 2）关闭爬虫

 3）获取所有已上传的爬虫项目

 

获取某项目的所有版本信息
url = 'http://localhost:6800/listversions.json?project=ivsky_spider'

response = requests.get(url=url)
print(response.json())

4）获取某个项目下的所有爬虫，默认获取最后一个版本的爬虫项目

 

url = 'http://localhost:6800/listspiders.json?project=ivsky_spider'

response = requests.get(url=url)
print(response.json())

5）所有上传过的爬虫文件

 6）查看爬虫内容

 等等。。。。。。。。。。。

如果想了解更多关于内容，，，进入到该网站可仔细研究

https://scrapyd.readthedocs.io/en/latest/api.html