Scrapyd部署爬虫项目

环境Win10 python3.7

一，我是在虚拟环境里面布置的Scrapyd

1. 首先我们先启动虚拟环境，运行pip3 install scrapyd
2. 然后输入scrapyd启动服务，启动成功如下
   
3. 然后打开浏览器输入127.0.0.1:6800看一下，页面如下
   
4. 连接成功，让我们先关闭服务
5. 创建一个文件夹（尽量不要建在c盘），自定义名字，如scrapydText
6. 按shift+鼠标右键打开命令窗口，执行scrapyd命令，执行完成后会新建一个 dbs 空文件夹，用来存放爬虫项目的数据文件，（注意：要先进入虚拟环境再执行该命令）
   
7. 然后再打开一个命令窗口，进入虚拟环境安装scrapyd-client 模块，安装完成后会在虚拟环境的 scripts 中会出现 scrapyd-deploy 无后缀文件，这个 scrapyd-deploy 无后缀文件是启动文件， 在 Linux 系统下可以运行，在 windows 下是不能运行的，所以我们需要编辑一下使其在 windows 可以运行
   
8. 然后在这个文件夹创建一个文件（不定格式），创建完成后命名为scrapyd-deploy.bat
   
9. 打开 scrapyd-deploy.bat 文件，右键选择编辑，输入以下配置(这里假设虚拟环境目录为 C:\Users\John\Envs)，注意：两个路径之间是空格，一定要使用双引号，单引号的话会错误。
   @echo off “C:\Users\John\Envs\scrapySpider\Scripts\python.exe” “C:\Users\John\Envs\scrapySpider\Scripts\scrapyd-deploy” %1 %2 %3 %4 %5 %6 %7 %8 %9

10. 进入虚拟环境，再进入带有scrapy.cfg文件的爬虫目录中，执行scrapyd-deploy

11.打开爬虫项目中的 scrapy.cfg 文件，这个文件就是给 scrapyd-deploy 使用的 将 url 这行代码解掉注释，并且给设置你的部署名称

12. 执行scrapyd-deploy -l 可以看到项目名称

13. 执行命令：scrapy list，执行成功会返回项目名，如果没执行成 功说明还有工作没完成 注意：执行 scrapy list 命令的时候很有可能出现错误，如果是 python 无法找到 scrapy 项目， 需要在 scrapy 项目里的 settings.py 配置文件里设置成 python 可识别路径 # 将当前项目的一级目录 TotalSpider 目录添加到 python 可以识别目录BASE_DIR=os.path.dirname(os.path.abspath(os.path.dirname(file))) sys.path.insert(0, os.path.join(BASE_DIR, “TotalSpider”))

14. 接下来就是打包上传了执行命令scrapyd-deploy 项目名称 -p scrapy项目名称，看到下面情况

15. ，进入环境启动scrapyd服务，如果报pywin32错误的话，就安装一下pywin32,再次启动

16. 让爬虫跑起来吧，执行curl http://localhost:6800/schedule.json -d project=scrapy项目名称 -d spider=爬虫名称
    
17. 看下效果
    
18. 项目成功的跑起来了
19. 停止爬虫 curl http://localhost:6800/cancel.json -d project=scrapy 项目名称 -d job=运行 ID
20. 删除 scrapy 项目 注意：一般删除 scrapy 项目，需要先执行命令停止项目下在远行的爬虫 curl http://localhost:6800/delproject.json -d project=scrapy 项目名称
21. 查看有多少个 scrapy 项目在 api 中 curl http://localhost:6800/listprojects.json
22. 查看指定的 scrapy 项目中有多少个爬虫 curl http://localhost:6800/listspiders.json?project=scrapy 项目名称

总结几个请求 url
1、获取状态 http://127.0.0.1:6800/daemonstatus.json
2、获取项目列表 http://127.0.0.1:6800/listprojects.json
3、获取项目下已发布的爬虫列表 http://127.0.0.1:6800/listspiders.json?project=myproject
4、获取项目下已发布的爬虫版本列表 http://127.0.0.1:6800/listversions.json?project=myproject
5、获取爬虫运行状态 http://127.0.0.1:6800/listjobs.json?project=myproject
6、启动服务器上某一爬虫（必须是已发布到服务器的爬虫） http://127.0.0.1:6800/schedule.json （post 方式，data={“project”:myproject,“spider”:myspider}）
7、删除某一版本爬虫 http://127.0.0.1:6800/delversion.json （post 方式，data={“project”:myproject,“version”:myversion}） 8、删除某一工程，包括该工程下的各版本爬虫 http://127.0.0.1:6800/delproject.json（post 方式，data={“project”:myproject}）