使用Scrapyd部署爬虫

使用Scrapyd部署爬虫
Scrapyd：
一个部署和运行Scrapy爬虫的应用程序，它使用户能在网页查看正在执行的任务，能通过JSON API部署（上传）工程和控制工程中的爬虫，如新建爬虫任务、终止爬虫任务等。
1.要使用Scrapyd部署，需要安装Scrapyd

pip install scrapyd

2.运行Scrapyd

>scrapyd

默认情况下，Scrapyd监听0.0.0.0:6800端口，用浏览器开：http://localhost:6800/,就能看到Scrapyd已经成功运行。单机页面的Jobs查看已经部署的爬虫，单击Logs查看日志信息。

3.将代码上传并部署到Scrapyd，需要使用一个专门的打包上传工具scrapyd-client

>pip install scrapyd-client

4.将本地Scrapy项目中的scrapy.cfg配置文件进行配置

[settings]
default = lianjia01.settings
[deploy]
url = http://localhost:6800/
project = lianjia01

5.scrapyd-client为用户提供了scrapyd-deploy命令，用来打包和上传爬虫代码。
Windows下，使用此命令，可能会出现：“‘scrapyd-deploy’ 不是内部或外部命令，也不是可运行的程序或批处理文件。”的提示。在Python的scripts目录，能发现一个scrapy-deploy的文件，但也无法执行。解决办法
进入Python的scripts目录，创建scrapy.bat、scrapyd-deploy.bat两个文件。
5.1编辑scrapy.bat:

@echo off
C:\ProgramData\Anaconda3\python C:\ProgramData\Anaconda3\Scripts\scrapy %*

5.2编辑scrapyd-deploy.bat:

@echo off 
    C:\ProgramData\Anaconda3\python    C:\ProgramData\Anaconda3\Scripts\scrapy-deploy %*

6.命令行进入到某个爬虫项目目录，执行命令：

>scrapyd-deploy

#####报错问题

>scrapyd-deploy
'scrapyd-deploy' 不是内部或外部命令，也不是可运行的程序
或批处理文件。

6.1原因
scrapyd和scrapyd-client版本不兼容！
直接pip安装的scrapyd版本为1.2.0，scrapyd-client版本为：1.1.0
6.2解决(或第5步)
安装一个版本和scrapyd相适应的scrapyd-client

pip install scrapyd-client==1.2.0a1

6.3再次执行>scrapyd-deploy
6.4若提示部署status状态是OK，说明爬虫部署成功。如果想启动爬虫，可以输入：
project后面是项目名称，spider后面是爬虫名称

>curl http://localhost:6800/schedule.json -d project=lianjia01 -d spider=lianjia

7.在浏览器打开：http://localhost:6800/，查看爬虫运行情况。

8.如果代码发生改变，可以重新打包部署，Scrapyd默认执行最新的版本
9.如果要部署到远程服务器，Scrapy项目中scrapy.cfg文件的URL需要配置为远程服务器的地址
10.Scrapyd还提供了很多方便的命令，如停止一个爬虫的命令为

>curl http://localhost:6800/cancel.json -d project=lianjia01 -d job=JOB_ID

JOB_ID从web控制台PID获得
注意：在使用远程部署的时候，要注意安全问题
链家经纪人爬取源码