爬虫实战七、使用Scrapyd部署Scrapy爬虫到远程服务器

#一、准备好爬虫程序

爬虫程序代码参考爬虫实战四、PyCharm+Scrapy爬取数据并存入MySQL

#二、修改项目配置
找到项目配置文件scrapy.cfg：

[settings]
default = doubanSpider.settings

[deploy]
#url = http://localhost:6800/
project = doubanSpider

修改为如下：

[settings]
default = doubanSpider.settings

[deploy:node100]
url = http://node100:6800/
project = doubanSpider

注意本代码需要连接数据库，因此需要修改对应的连接数据库配置

之前的配置：

修改后的配置：

#三、部署项目
在部署项目之前要保证scrapyd服务开启。此处我是使用scrapyd后台启动脚本，脚本参考爬虫实战六、Scrapy爬虫部署工具Scrapyd服务搭建

进入本地爬虫工程的目录，

执行部署命令

scrapyd-deploy node100 -p doubanSpider

打开 http://node100:6800/ 查看

#四、调度爬虫

调度爬虫需要使用curl，以下命令可以在dos窗口对应的项目目录下执行，

也可以在PyCharm中的命令行执行。

###4-1、查看远端服务器上面的爬虫

curl http://node100:6800/listprojects.json

###4-2、移除远程服务器上面部署的爬虫工程

curl http://node100:6800/delproject.json -d project=doubanSpider

###4-3、启动爬虫

curl http://node100:6800/schedule.json  -d project=doubanSpider -d spider=douban

在http://node100:6800/jobs 中查看任务，也可以查询Log日志。

任务执行完毕，查看数据。

###4-4、取消爬虫

 curl http://node100:6800/cancel.json -d project=doubanSpider -d job=000f47e035e911e9a8e90bb05244259f