Gerapy简介
根据说明,Gerapy 应当是一款国人开发的是一款分布式爬虫管理框架(有中文界面) 。支持 Python 3,基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发。
Gerapy作用
Gerapy 可以帮助我们:
- 更方便地控制爬虫运行
- 更直观地查看爬虫状态
- 更实时地查看爬取结果
- 更简单地实现项目部署
- 更统一地实现主机管理
- 更轻松地编写爬虫代码(几乎没用,感觉比较鸡肋)
Gerapy安装
如何下载
1.git下载 链接: https://github.com/Gerapy/Gerapy.git 。
2.用pip3 install gerapy ,这里要注意自己的python 环境。
pip命令演示如下:
$pip install gerapy
$gerapy 查看是否安装成功
成功信息:
Usage:
gerapy init [--folder=<folder>]
gerapy migrate
gerapy createsuperuser
gerapy runserver [<host:port>]