Gerapy 分布式爬虫管理部署使用

Gerapy 使用详解

介绍:

Gerapy 是一款分布式爬虫管理框架，支持 Python 3，基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发，Gerapy 可以帮助我们：

• 更方便地控制爬虫运行

• 更直观地查看爬虫状态

• 更实时地查看爬取结果

• 更简单地实现项目部署

• 更统一地实现主机管理

• 提供在线编辑代码功能

Greapy 安装和使用

• step1: gerapy下载

pip3 install gerapy

查看是否安装成功

gerapy

出现如下结果图说明安装成功

• step2: 初始化gerapy
  进入到指定目录下（例如桌面）执行如下命令

gerapy init

执行完毕之后，便会在桌面下生成一个名字为 gerapy 的文件夹，接着进入该文件夹，可以看到有一个 projects 文件夹

• step3: 初始化数据库
  进入到gerapy文件夹下