Scrapyd部署Scrapy爬虫

最新推荐文章于 2024-04-10 15:16:48 发布

苏建康

最新推荐文章于 2024-04-10 15:16:48 发布

阅读量336

点赞数

分类专栏：爬虫

本文链接：https://blog.csdn.net/SJK__/article/details/90371977

版权

爬虫专栏收录该内容

2 篇文章 0 订阅

订阅专栏

本文介绍了如何将Scrapy爬虫项目部署到Scrapyd服务上进行管理与监控。首先确保安装了scrapyd和scrapyd-client模块，然后通过scrapyd-deploy命令将项目发布到Scrapyd，指定项目名和配置文件。部署成功后，可在Scrapyd的可视化界面查看项目，并使用curl命令启动爬虫，显示ok则表明启动成功。

摘要由CSDN通过智能技术生成

首先创建个爬虫项目，这里就不讲怎么创建爬虫项目了
将项目部署到Scrapyd上面，Scrapyd是scrapinghub官方提供的爬虫管理、部署、监控的方案之一
安装模块

pip install scrapyd
pip install scrapyd-client

在端口启动scrapyd的服务：要先启动环境管理

命令：scrapyd

在爬虫根目录执行：scrapyd-deploy

在这里插入图片描述
发布爬虫项目到scrapyd

修改scrapy.cfg，去掉url前的#

# 部署工程到scrapyd
[deploy:abckg]        # 这是给爬虫项目起别名，跟爬虫名字一样就好
url = http://localhost:6800/    # 把这行注释打开
project = ABCkg                  # 这个是项目名

进入到scrapy项目根目录，执行：scrapyd-deploy -p （target:spider.cfg文件中[deploy：NAME]）（projectname：spider.cfg中project = name）

scrapyd-deploy abckg -p ABCkg

在这里插入图片描述
这就是部署成功

你可以用setting里面的url 沾到浏览器看下 
http://localhost:6800/

Scrapyd可视化
在这里插入图片描述
这时Scrapyd上面就有了一个爬虫 ABCkg

Available projects: ABCkg

复制Scrapyd下面的 curl http://localhost:6800/schedule.json -d project=default -d spider=somespider把项目名和爬虫名改成自己的如下

# project后面是Scrapyd下面Available projects: ABCkg 这个名字
# spider是 scrapy.cfg（爬虫配置文件）里的 [deploy:abckg]名字
curl http://localhost:6800/schedule.json -d project=ABCkg -d spider=abckg

将修改好的命令在doc里执行
在这里插入图片描述
显示ok就是启动爬虫成功
现在点击去看Scrapyd下面的jobs
启动成功