2020/04/08 07-RabbitMQ类应用实现异步爬虫

最新推荐文章于 2022-04-16 17:28:57 发布
最新推荐文章于 2022-04-16 17:28:57 发布
阅读量428 收藏 2
点赞数 1
分类专栏： 64爬虫(三)消息队列和分布式爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42227818/article/details/105397908
版权

上次把类抽象出来，messagequeue，如果要测试，就需要两边一个生产数据一个消费数据，consumer用的话就要配合start_consuming
在这里插入图片描述
start_consuming这里就会阻塞，你就要想办法起线程
在这里插入图片描述
start_consuming是在所有的sonsume都cancel完了才停止

t12里要把这3个替换掉
在这里插入图片描述
以后提取url的也是专门的程序，可能也跑了很多个进程，这些进程也分布在不同的节点上
在这里插入图片描述
urls对象就跟其他urls对象就没关系了，因为跑在不同的节点上，一点关系也没有

在这里插入图片描述
这就是把生产者写好了

在这里插入图片描述
生产者要是写好了，你做的事情就是直接把数据往里面打

在这里插入图片描述
crawler爬虫既有生产者和消费者，首先消费urls里的东西，往htmls里生产。如果拿到none，就等1秒再拿，可以把try异常放外层
在这里插入图片描述

打印一下异常，以前是用queue从里面拿数据，现在是消费者拿一个数据回来，但是拿回来有可能是none，如果是none就等1秒再拿，如果不是none就快速的去消费
在这里插入图片描述
间隔时间做下适当调整，不然发起的请求太快了，爬取是发起requesy请求，最好时间做下间隔，不要疯狂爬取，疯狂爬取很容易被人拒绝
在这里插入图片描述

在这里插入图片描述
parse解析也是两样东西，是对htmls队列的消费者，对outputs的一个生产者。html=c.recvmsg从里面拿到数据，拿到数据后进行分析，分析的时候有可能也产生一些问题，拿到数据后，产生我们要的数据，现在把产生的数据sendmsg

在这里插入图片描述
persist最后就一个消费者了
在这里插入图片描述
body要一个string或者unicode

在这里插入图片描述
我们现在的类型不行,不符合要求的string
在这里插入图片描述
这里直接链接起来，到时候直接拆开即可，因为数据已经传到消息队列，消息队列离开了python环境，序列化和反序列化就没法用了。
序列化和反序列化用过的就是json式的，python自己用的pickle，高效二进制的MessagePack。（这里要string或者unicode）除非做base64编码，既然要把二进制压缩再做base64，还不如json
在这里插入图片描述
从队列里拿可能有风险，会有none，等着出错

在这里插入图片描述
这里有可能返回none
在这里插入图片描述
这次用序列化方式换掉
在这里插入图片描述准备用前面的simplejson来序列化掉
在这里插入图片描述
dumps，就这两个值做文本序列化，用json做文本序列化时比较好的选择
在这里插入图片描述
这边拿到数据就可以直接对数据进行解构，内部的处理数据，速度快点也可以，不是对外访问。如果拿到数据为none就等1秒
在这里插入图片描述
把这个数据再这里装载一下
在这里插入图片描述
这个数据是个字典就可以用get，有错误就给外面，这样就可以去爬取相应的内容，这样就各玩各的
在这里插入图片描述
现在producer和consumer不互相通信，你要是通信了就可以称为某种意义上的分布式服务了

**现在是多线程的运行，首先是启动gen_url
**
在这里插入图片描述
起一个把url搞定了，起多个需要去重在这里插入图片描述
消费url，然后拿到结果，在把结果返回到queue里

在这里插入图片描述
parse另一个消费者，就要从里面去消费数据，解析这个数据，把字符串进行序列化，然后把数据打入到outputs里去

在这里插入图片描述
加载进来，把数据提取出来，拿到数据将它写数据
在这里插入图片描述
把之前的删除干净

在这里插入图片描述

把交换机和queue全部删除
在这里插入图片描述
执行一下

在这里插入图片描述
相对导入就这么直接用了
在这里插入图片描述
线程都已经起来了

在这里插入图片描述
这里就可以看到在运行了

在这里插入图片描述
这个里面什么变化没有，可能出了问题

在这里插入图片描述
这里不用的先注释掉

在这里插入图片描述
这里数据没人消费了
在这里插入图片描述
这样就行了

在这里插入图片描述
把之前的queue都删除了

在这里插入图片描述
交换机也删除，准备重新来

在这里插入图片描述
运行一下

在这里插入图片描述

在这里插入图片描述
这里数据就开始输出了
在这里插入图片描述
这里就进来了

在这里插入图片描述
rabbitmq通过它来解耦，数据放到这里进行缓冲，然后消费者来消费
在这里插入图片描述
解析的时候对html进行解析，解析的时候会有很多新的链接，这些链接应该加入到url里去，url和html是不断增长的
在这里插入图片描述
只有outputs才是有多少数据都消费完
在这里插入图片描述
现在有三个，加入用同一个队列还要对数据进行判断，是否是url还是html

在这里插入图片描述
写类是一步步抽象出来的

在这里插入图片描述
抽象成函数内部要关联起来就用queue，queue写完之后内部测试没有问题，然后再替换成外面的第三方queue
在这里插入图片描述
再加一下异常判断，在生产环境用没什么问题，让代码更加健壮

在这里插入图片描述
正好3000行，后面分析可以用scrapy
在这里插入图片描述

48N6E
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
RabbitMQ 典型应用场景实战
猿码天地
03-02 8522
一、实战前言 RabbitMQ 作为目前应用相当广泛的消息中间件，在企业级应用、微服务应用中充当着重要的角色。特别是在一些典型的应用场景以及业务模块中具有重要的作用，比如业务服务模块解耦、异步通信、高并发限流、超时业务、数据延迟处理等。 二、RabbitMQ 官网拜读 首先，让我们先拜读 RabbitMQ 官网的技术开发手册以及相关的 Features，感兴趣的朋友可以耐心的阅读其中的相关介绍，相信会有一定的收获，地址可见：RabbitMQ 官网 阅读该手册过程中，我们可以得知 RabbitMQ 其实核心就
Python使用rabbitmq作爬虫的消息队列的一个例子
YOYO的博客
09-09 2291
先来一张图,自己画的: 使用consumer自己即是消费者也是生产者,可以开多线程,产生多个consumer,然既消费又产出 代码: 只需要写callback里面的函数,以参数形式传到recv_task中就可以了 这里callback注意base_ack,及时通知rabbitmq,清理已经完成的任务,否则会造成队列堵塞.问题会一大堆呢 import pika def send_t...
基于RabbitMQ实现小说网站爬虫业务解耦
HackDaily
05-28 3319
在一个系统中，消息中间件在业务解耦上总能起到很重要的作用，一定程度上能够提高系统的相应时间以及吞吐量。消息中间件本质是一个队列，工作方式的本质则是生产者-消费者模式。
大规模分布式爬虫系统中Kafka和rabbitMQ消息中间件的技术实践分享
04-16 1226
一、背景描述 目前后端数据引擎系统中 使用了24个节点的Elasticsearch 集群，存储每天采集1.7亿条上下的数据量，具体的网页原始数据存储在 Cassandra 集群中。一个月下来抓取的数据量超过2T，同时要保证每天450台爬虫机器同时抓取数据稳定运行，这么大的数据采集量当然需要一个可靠的爬虫系统。在这个爬虫系统中抓取任务和数据处理分发的稳定中间件必不可少。在多种MQ消息中间件里面，我们经过反复的试验和论证，最后选择了Kafka和rabbitMQ两种消息中间件，在分布式爬虫系统作为不同的用途使.
RabbitMQ基础篇（一）
成电至菜的博客
06-08 5450
本系列博客主要从实践理论两个角度带着大家一步一步认识了解熟悉RabbitMQ，总共分为基础篇、进阶篇、高级篇。基础篇主要介绍一些 MQ 的基础概念，RabbitMQ 的历史背景，以及同类型的一些技术，搭建运行环境并且编写一个简单的程序，进阶篇我们将使用 RabbitMQ 做更多的实验，以实践的方式深入学习，高级篇会讲解一些 RabbitMQ 的高级应用，如何搭建 RabbitMQ 的高可用基础架构以
2020版-系统搞定Python分布爬虫.rar
05-08
5. **并发与多线程**：讲解Python的多线程和多进程，以及异步IO（如asyncio库）在爬虫中的应用，提高爬虫的执行效率。 6. **异常处理与数据存储**：如何处理爬取过程中的异常，确保数据的完整性；以及如何将抓取到...
Python-Crawlab基于Celery的爬虫分布式爬虫管理平台支持多种编程语言以及多种爬虫框架
08-10
**Python-Crawlab分布式爬虫管理平台** Crawlab是一个高效、灵活的爬虫管理平台，它利用Celery作为其核心的分布式任务调度系统，旨在为数据采集提供一个集中的控制台，支持多种编程语言和多种爬虫框架，极大地提高...
基于python的知乎爬虫
03-26
综上所述，这个“基于Python的知乎爬虫”项目结合了Python、Scrapy、MongoDB和RabbitMQ等多种技术，实现了从知乎网站抓取用户信息和人际关系网络的高效解决方案。通过这样的项目实践，我们可以学习到如何构建复杂的...
比价网站京东苏宁数据爬取代码-使用rabbitmq
07-28
本文将深入探讨如何使用RabbitMQ作为消息中间件，结合Jsoup库实现京东和苏宁比价网站的数据爬取。首先，我们来理解这两个核心概念。 **RabbitMQ** 是一个开源的消息队列系统，基于AMQP（Advanced Message Queuing ...
go-crawler-distributed:分布式爬虫项目，本项目支持个性化定制页面解析器二次开发，项目整体采用微服务架构，通过消息队列实现消息的异步发送，使用到的框架包括：redigo, gorm, goquery, easyjson, viper, amqp, zap, go-micro，并通过Docker实现容器化部署，中间爬虫节点支持水平拓展
05-11
go-crawler-distributed Github： Distributed crawler projects, the project supports personalization page parser secondary development, the whole project using micro service architecture, messages are ...
rabbitmq
bck1453925668的博客
11-09 199
消费者（停止自动回复ack，手动回复ack） import pika connection = pika.BlockingConnection(pika.ConnectionParameters(host="10.47.199.130",credentials=pika.credentials.PlainCredentials( ...
python 消息队列服务器_利用Python操作消息队列RabbitMQ的方法教程
weixin_39957027的博客
12-09 397
前言RabbitMQ是一个在AMQP基础上完整的，可复用的企业消息系统。他遵循Mozilla Public License开源协议。MQ全称为Message Queue, 消息队列(MQ)是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息(针对应用程序的数据)来通信，而无需专用连接来链接它们。消 息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调...
pika消费者程序使用Python注册Windows为服务无法停止的问题
qiushangz的博客
06-03 773
pika消费者程序使用Python注册Windows为服务无法停止的问题运行环境问题描述基本实现注册、启动、结束服务第一个问题：服务没有及时响应启动或控制请求第二个问题：启动后报错，但不知道哪里出错第三个问题：服务无法正确停止：无法完成操作。服务无法在此时接受控制信息最终的实现参考内容 运行环境 Python 3.7.7 pika 0.10.0 问题描述 使用 pika 库，连接 rabbitmq，对队列进行监听，并处理监听到的消息。希望将程序注册为windows服务，后台运行，开机自启动。 在查阅有关
消息队列真知灼见之RabbitMQ详解
黑色小米粥
06-17 465
一 、什么是消息队列（MQ） MQ全称为Message Queue 消息队列（MQ）是一种应用程序对应用程序的通信方法。MQ是消费-生产者模型的一个典型的代表，一端往消息队列中不断写入消息，而另一端则可以读取队列中的消息。这样发布者和使用者都不用知道对方的存在。 ''' 生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，所以生产者生产完数据之后不用等待消费者处理，直接扔给阻塞队列，消费者不找生产者要数据，而是直接从阻塞队列里
python(十一)上：RabbitMQ 使用详细介绍
人生就是一场修行
10-20 3万+
目录上节回顾 一、RabbitMQ 消息队列介绍 二、RabbitMQ基本示例. 　　1、Rabbitmq 安装 　　2、基本示例 　　3、RabbitMQ 消息分发轮询 三、RabbitMQ 消息持久化（durable、properties） 　　1、RabbitMQ 相关命令 　　2、消息持久化 四、RabbitMQ 广播模式（exchange） 　　1、fanout 纯广播
rabbitmq 爬虫
u010066807的博客
04-13 1245
基于rabbitmq 简单的分布式爬虫程序架构 Download进程负责下载页面 ParseBase监听Download下载完成的消息，解析页面（URL，EMAIL，……） 使用supervisor 管理进程 使用fabfile部署代码简单版代码https://github.com/neo-hu/rabbitmq-crawler完整版下载:频率修改，代理（翻墙）设置 页面解析：关键字，分词统计等
rabbitmq的5种模式详解
gymaisyl的博客
02-01 2688
Hello World （直连模式） # producer.py import pika # 1. 创建连接 credentials = pika.PlainCredentials('root', 'root123') # 需要连接对象的用户名和密码 parameters = pika.ConnectionParameters(host='192.168.100.37', port=5672, virtual_host='/ok', ..
RabbitMQ的几种应用场景
热门推荐
刀刀的专栏
12-15 5万+
之前的几篇文章介绍了一下RabbitMQ的概念以及环境的搭建和配置，有了RabbitMQ环境就可以基于其实现一些特殊的任务场景了。RabbitMQ官方有个很好的Tutorials基本覆盖了RabbitMQ的各中常见应用场景，先以代码加注释的方式以其Python客户端pika为例简单介绍如下。更详尽的信息可参阅：http://www.rabbitmq.com/getstarted.html R
exec /usr/lib/rabbitmq/bin/rabbitmq-server
最新发布
06-03
这是一个 Bash 命令，它的作用是以当前进程替换为指定路径下的 rabbitmq-server 进程。其中 exec 是 Bash 内置命令，用于执行指定的命令并替换当前进程，使得该命令成为当前进程的 PID（进程标识符）。这条命令会启动 RabbitMQ 服务器，使得该服务器开始监听 AMQP 协议端口，并对客户端的请求进行响应。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值