Gerapy 分布式爬虫管理框架

什么是 Gerapy 

Gerapy 是一个基于 Scrapy 的分布式爬虫管理框架。它提供了一个图形化的用户界面，使得用户可以更方便地进行 Scrapy 项目的管理和调度。Gerapy 支持项目的创建、编辑、部署以及调度任务的管理。

功能作用

• 项目管理：Gerapy 允许用户通过 Web 界面创建、编辑和管理 Scrapy 项目。
• 部署功能：用户可以直接通过 Gerapy 部署 Scrapy 项目到多台服务器，实现分布式爬取。
• 任务调度：Gerapy 提供了任务调度功能，可以定时运行爬虫任务，并支持任务的监控和管理。
• Web UI 界面：Gerapy 提供了一个简单易用的 Web 用户界面，使得管理和运行爬虫变得更加直观和方便。

安装 Gerapy 

pip install gerapy

使用 gerapy -v 查看是否安装成功

初始化 Gerapy 项目

gerapy init

会在命令执行目录生成一个 gerapy 文件

启动 Gerapy 服务

在 gerapy 项目目录下执行以下命令：

gerapy migrate       # 初始化数据库sqlite3数据库
gerapy runserver     # 启动 gerapy 服务    

访问 gerapy 的web页面地址：http://127.0.0.1:8000/

创建登录账号密码

gerapy createsuperuser

主机管理

添加 Scarpyd 主机节点

运行 Scrapyd 爬虫（Scrapyd 中要有 Scrapy项目）

Scrapyd 中的 Scrapy 项目列表（只能添加，不能删除）

项目管理

把自己原本的Scrapy项目压缩成zip包 。或者把scarpy项目copy到gerapy/projects目录下即可。

然后编辑 scrapy.cfg文件

然后部署项目到主机

任务管理

创建任务

效果