爬虫实战七、使用Scrapyd部署Scrapy爬虫到远程服务器

Cehae

于 2024-04-08 11:19:59 发布

阅读量204

点赞数 2

分类专栏：爬虫文章标签：爬虫 scrapy 服务器

本文链接：https://blog.csdn.net/Cehae/article/details/137501278

版权

6 篇文章 1 订阅

订阅专栏

#一、准备好爬虫程序

图片.png

#二、修改项目配置
找到项目配置文件scrapy.cfg：

[settings]
default = doubanSpider.settings

[deploy]
#url = http://localhost:6800/
project = doubanSpider

修改为如下：

[settings]
default = doubanSpider.settings

[deploy:node100]
url = http://node100:6800/
project = doubanSpider

注意本代码需要连接数据库，因此需要修改对应的连接数据库配置

之前的配置：
图片.png

修改后的配置：
图片.png

#三、部署项目
在部署项目之前要保证scrapyd服务开启。此处我是使用scrapyd后台启动脚本，脚本参考爬虫实战六、Scrapy爬虫部署工具Scrapyd服务搭建

图片.png

进入本地爬虫工程的目录，

图片.png

执行部署命令

scrapyd-deploy node100 -p doubanSpider

图片.png

打开 http://node100:6800/ 查看

图片.png

#四、调度爬虫

调度爬虫需要使用curl，以下命令可以在dos窗口对应的项目目录下执行，

图片.png

也可以在PyCharm中的命令行执行。

图片.png

###4-1、查看远端服务器上面的爬虫

curl http://node100:6800/listprojects.json

图片.png

###4-2、移除远程服务器上面部署的爬虫工程

curl http://node100:6800/delproject.json -d project=doubanSpider

###4-3、启动爬虫

curl http://node100:6800/schedule.json  -d project=doubanSpider -d spider=douban

图片.png

在http://node100:6800/jobs 中查看任务，也可以查询Log日志。

图片.png

任务执行完毕，查看数据。

图片.png

###4-4、取消爬虫

 curl http://node100:6800/cancel.json -d project=doubanSpider -d job=000f47e035e911e9a8e90bb05244259f

关注