Gerapy框架的安装使用

最新推荐文章于 2022-10-27 17:39:30 发布

爬虫炫神

最新推荐文章于 2022-10-27 17:39:30 发布

阅读量247

点赞数

本文链接：https://blog.csdn.net/weixin_42170439/article/details/99952816

版权

Gerapy 是一款分布式爬虫管理框架，支持 Python 3，基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发，Gerapy 可以帮助我们：

各个框架的作用：

Scrapy：是一个基于Twisted的异步IO框架，有了这个框架，我们就不需要等待当前URL抓取完毕之后在进行下一个URL的抓取，抓取效率可以提高很多。
Scrapy-redis：虽然Scrapy框架是异步加多线程的，但是我们只能在一台主机上运行，爬取效率还是有限的，Scrapy-redis库为我们提供了Scrapy分布式的队列，调度器，去重等等功能，有了它，我们就可以将多台主机组合起来，共同完成一个爬取任务，抓取的效率又提高了。
Scrapyd：分布式爬虫完成之后，接下来就是代码部署，如果我们有很多主机，那就要逐个登录服务器进行部署，万一代码有所改动..........可以想象，这个过程是多么繁琐。Scrapyd是专门用来进行分布式部署的工具，它提供HTTP接口来帮助我们部署，启动，停止，删除爬虫程序，利用它我们可以很方便的完成Scrapy爬虫项目的部署。
Gerapy：是一个基于Scrapyd，Scrapyd API，Django，Vue.js搭建的分布式爬虫管理框架。简单点说，就是用上述的Scrapyd工具是在命令行进行操作，而Gerapy将命令行和图形界面进行了对接，我们只需要点击按钮就可完成部署，启动，停止，删除的操作。

1.gerapy下载

成功信息：

2.初始化gerapy

gerapy init

会在当前目录下生成一个名字为 gerapy 的文件夹，接着进入该文件夹，可以看到有一个 projects 文件夹
3.初始化数据库
要cd 到gerapy目录

会在gerapy目录下生产一个sqlite数据库，同时创建数据表

1.png

-----------------------整体流程------------------------

4.png

4.运行gerapy服务

gerapy runserver

gerapy runserver 0.0.0.0:8000 【如果你是在本地，执行 gerapy runserver即可，如果你是在远程上，你就要改成前面这样来执行】
5.访问gerapy管理界面
浏览器输入

http://127.0.0.1:8000

1.配置主机
就是配置我们scrapyd 远程服务.

需要添加 IP、端口，以及名称，点击创建即可完成添加，点击返回即可看到当前添加的 Scrapyd 服务列表
2.启动scrapyd服务
需要在gerapy目录下启动或者

在你当前的python环境根目录 D:\pa2_1608c\Scripts 下输入cmd打开命令行，

输入命令：

scrapyd 启动，这样scrapyd就运行起来了，本地浏览器访问127.0.0.1:6800即可看到可视化界面，接着在执行下一步

2.png

3.把项目文件放到projects下

4.项目管理

可以点击上图中的编辑，在线编辑项目，如果项目没有问题，可以点击部署进行打包和部署，在部署之前要打包项目（打包成一个egg文件），可以部署到多台主机。

部署完毕后，可以回到主机管理页面进行任务调度。点击调度即可进入任务管理页面，可以查看当前主机所有任务的运行状态：

通过点击运行，停止按钮来实现任务的启动和停止，同时可以展开任务条目查看日志详情。

下面是抓取的数据存入MongoDB数据库：

参考文档：

关注