python爬虫工程师，如何从零开始部署Scrapyd+Feapder+Gerapy？

最新推荐文章于 2024-08-07 20:34:57 发布

Python_魔力猿

最新推荐文章于 2024-08-07 20:34:57 发布

阅读量1.4k

点赞数 19

文章标签： python 爬虫开发语言

本文链接：https://blog.csdn.net/weixin_68789096/article/details/135426199

版权

本文详细介绍了Python爬虫工程师如何从零开始部署Scrapyd、Gerapy和Feapder。首先，讲解了Scrapyd的环境部署、API处理爬虫和多任务管理；接着，介绍了Gerapy的环境搭建、服务器部署和打包框架项目；最后，探讨了Feapder的应用场景、镜像拉取和Docker部署。通过这些步骤，读者可以掌握分布式爬虫的部署和管理技巧。

摘要由CSDN通过智能技术生成

一丶scrapyd框架

1.环境部署

Scrapyd是一个基于Twisted的Python框架，用于部署和运行Scrapy爬虫。它提供了一个Web服务，可以通过API来管理Scrapy爬虫的部署和运行。在Scrapyd中，爬虫可以被打包成一个egg文件，然后通过API上传到Scrapyd服务器上进行部署和运行。

以下是Scrapyd框架环境部署的详细步骤：

1. 安装Python和pip

Scrapyd是基于Python的框架，因此需要先安装Python和pip。可以从Python官网下载Python安装包，然后使用命令行安装pip。

2. 安装Scrapy和Scrapyd

使用pip安装Scrapy和Scrapyd：

pip install scrapy
pip install scrapyd

3. 配置Scrapyd

Scrapyd的配置文件位于/etc/scrapyd/scrapyd.conf。可以使用以下命令来编辑配置文件：

sudo nano /etc/scrapyd/scrapyd.conf

在配置文件中，可以设置Scrapyd的端口号、日志文件路径、爬虫项目路径等。

4. 启动Scrapyd

使用以下命令启动Scrapyd：

scrapyd

Scrapyd将会在默认端口6800上启动。可以在浏览器中访问http://localhost:6800/来查看Scrapyd的Web界面。

部署Scrapy爬虫

将Scrapy爬虫打包成一个egg文件，然后使用以下命令将其部署到Scrapyd服务器上：

curl -F project=myproject -F spider=myspider \
    -F eggfile=@myproject.egg \
    http://localhost:6800/schedule.json -o result.json

其中，project和spider参数分别指定爬虫所在的项目和爬虫名称，eggfile参数指定要上传的egg文件路径，最后的URL是Scrapyd的API地址。

6. 查看爬虫运行状态

可以在Scrapyd的Web界面上查看爬虫的运行状态。也可以使用以下命令来查看爬虫的运行日志：

curl http://localhost:6800/logs/myproject/myspider/001

其中，myproject和myspider分别是爬虫所在的项目和爬虫名称，001是爬虫运行的任务ID。

以上就是Scrapyd框架环境部署的详细步骤。

2.scrapyd API处理爬虫

Scrapyd是一个用于部署和运行Scrapy爬虫的Python框架，它提供了一个基于HTTP的API，可以通过API管理和控制爬虫的运行。通过Scrapyd API，你可以与Scrapyd服务器进行通信，发送指令来管理爬虫的启动、停止、查看爬虫状态等操作。

下面是对Scrapyd API处理爬虫的详细解释：

1.安装Scrapyd：

首先，需要安装Scrapyd框架。可以使用pip命令进行安装：pip install scrapyd

2.启动Scrapyd服务器：

使用命令scrapyd启动Scrapyd服务器。默认情况下，Scrapyd服务器将在6800端口上运行。

3.创建Scrapy爬虫：

在使用Scrapyd API之前，需要先创建一个Scrapy爬虫。可以使用Scrapy命令行工具创建一个新的爬虫项目，并编写爬虫代码。

4.部署爬虫：

在项目根目录下运行命令scrapyd-deploy，将爬虫部署到Scrapyd服务器上。这将会生成一个scrapy.cfg配置文件，并将项目上传到Scrapyd服务器。

5.使用Scrapyd API：

Scrapyd API提供了一系列接口用于管理爬虫，包括启动爬虫、停止爬虫、获取爬虫状态等。

启动爬虫：使用/schedule.json接口来启动一个爬虫。需要提供爬虫名称和可选的参数。例如：http://localhost:6800/schedule.json -d project=myproject -d spider=myspider
停止爬虫：使用/cancel.json接口可以停止正在运行的爬虫。需要提供爬虫任务的ID。例如：http://localhost:6800/cancel.json -d project=myproject -d job=12345
查看爬虫状态࿱