一文读懂MQ

最新推荐文章于 2024-09-14 11:11:02 发布
最新推荐文章于 2024-09-14 11:11:02 发布
阅读量564 收藏
点赞数 1
分类专栏： mq系列 文章标签： mq kafka rabbitmq rocketmq 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_32820639/article/details/110454452
版权

文章目录

一文读懂MQ

理解MQ

1 提供的能力

1.1 解耦
  • 服务关系复杂化、导致系统架构犹如蜘蛛网，服务关系难以理解
  • 功能维护复杂化
    • eg：A 系统发送数据到 BCD 三个系统，通过接口调用发送。如果 E 系统也要这个数据呢？那如果 C 系统现在不需要了呢？A系统都要做出相应调整
  • 通过一个 Pub/Sub 发布订阅消息这么一个模型，A 系统就跟其它系统彻底解耦了（非同步调用的case）
1.2 异步化
  • eg：A 系统接收一个请求，需要在自己本地写库，还需要在 BCD 三个系统写库，自己本地写库要 3ms，BCD 三个系统分别写库要 300ms、450ms、200ms。最终请求总延时是 3 + 300 + 450 + 200 = 953ms

使用 MQ，那么 A 系统连续发送 3 条消息到 MQ 队列中，假如耗时 5ms，A 系统从接受一个请求到返回响应给用户，总时长是 3 + 5 = 8ms

1.3 消峰
  • 系统平时的qps较低，在某个时间点的qps很高且超出短板服务的承受能力，导致服务不可用，盲目的扩增机器来撑qps会导致高峰期后硬件资源的浪费
  • 利用mq可以使系统平稳的度过高峰期，即使是同步请求功能，也可以通过产品设计达到这种目的（例如淘宝双11和京东618）

2. 带来的问题：

  • 运维成本增加：多了一个mq组件需要维护
  • 系统可用性降低：对于分布式系统，多一个分布式组件，系统的可用性就会多承受一份威胁
  • 系统复杂性提高：从系统架构上来说多了一个组件，对于开发人员来说也需要掌握更多的技能
  • 一致性问题：例如异步化的场景，会出现数据一致性的问题，开发人员需要考虑这种场景进行开发

3. 协议：

3.1 JAVA API 之 JMS
  • 简介：JMS是由Sun公司早期提出的消息标准，旨在为java应用提供统一的消息操作，包括create、send、receive；从使用角度看，JMS和JDBC担任差不多的角色，用户都是根据相应的接口可以和实现了JMS的服务进行通信，进行相关的操作；activeMQ就是基于该协议
  • 消息模型：peer-2-peer(点对点)；publish-subscribe（发布订阅）模型
  • 路由机制：
    • 由message-routing来决定。在JMS中，消息路由非常简单
    • JMSconsumer同时支持message selector（消息选择器），通过消息选择器，consumer可以只消费那些通过了selector筛选的消息
      在这里插入图片描述
3.2 AMQP（mq协议）
  • 简介：AMQP（高级消息队列协议）是一个网络协议。它支持符合要求的客户端应用（application）和消息中间件代理（messaging middleware broker）之间进行通信；
  • 语言支持：作为协议（类似于http），故本身支持所有语言；例如通过java客户端发送消息，通过ruby消费端进行消费
  • 模型：
    在这里插入图片描述

rabbitMQ

1 参考文献

2 基本属性

  • 语言：Erlang，Erlang语言天生具备分布式特性（通过同步Erlang集群各节点的magic cookie来实现），天然支持集群模式（Clustering）
  • **关键名词：**producer、broker、exchange、queue、channel、consumer
  • 消费模型：支持pull和push两种模型；spring中是对push的封装**（kafka只支持pull模型）**
  • 延时消息的方案
    • 利用死信交换机&队列__dead-letter-exchange
      • 建立一个有过期时间的queue（ttl）
      • 无消费者，消息过期后进入死信队列
      • 消费死信队列，则实现过期时间的延迟消息
    • 利用插件：rabbitmq-delayed-message-exchange

3 工作模型

在这里插入图片描述

  • 直连dircet
    在这里插入图片描述
  • 主题topic
    在这里插入图片描述
  • 广播Fanout
    在这里插入图片描述

4 消息可靠性

  • producer -> Exchange
    • 利用mq的ack机制保证exchange必然接收到message
  • Exchange -> Queue
    • rabbitmq提供了returnListien接口，实现该接口可以得到message是否正常进入queue
  • queue -> consumer
    • consumer客户端提供了消息确认机制
    • consumer未确认接收到消息，则queue不会删除该消息
      • 默认客户端接收到即确认
      • 可以通过设置配置，来确保正常业务处理完成后再确认

5 服务高可用

  • Erlang语言天生具备分布式特性（通过同步Erlang集群各节点的magic cookie来实现），天然支持集群模式（Clustering）

  • 各集群仅相互同步元数据，来保证数据一致性

  • 具体暂不描述

kafka

1 参考文献

2 基本属性

  • 关键名词：producer、broker、topic、partition、replicas、consumer、offset、leader、follower
  • 消费模型：仅支持pull

3 属性介绍

  • **partition：**topic中的数据分割为一个或多个partition，以到达数据分布式存储
  • **replicas：**副本是分区的备份。副本不会被消费者消费，副本只用于防止数据丢失。副本间是一主多从关系
  • **offset：**记录消费到哪里的偏移量
  • **leader/follower：**一个partition下副本是一主多从的关系，主则为leader，其他为follower

3 分片模型

在这里插入图片描述

4 重点知识

  • leader容灾：指副本的leader，服务端会在Zookeeper的/brokers/ids节点上注册Watch，一旦有broker宕机，则会从副本中选取一个作为leader
  • **多副本同步：**由生产者来决定，通过request.required.acks参数来设置数据的可靠性-
    • 0：不关心broker是否处理成功，可能丢数据。
    • 1：当写Leader成功后就返回，副本异步同步数据；副本数据可能丢失
    • -1：所有机器同步成功，才能返回成功；强一致，不会丢数据。
  • **消费：**订阅topic是以一个消费组来订阅的，一个消费组里面可以有多个消费者
    • **注意：**一个partition，只能被消费组里的一个消费者消费；例如partition数为4，消费组中消费者共有5个，则其中有一个消费者无法消费（一旦注册便无法消费）

4 消息可靠性

  • 由生产者来决定，通过request.required.acks参数来设置数据的可靠性-
    • 0：不关心broker是否处理成功，可能丢数据。
    • 1：当写Leader成功后就返回，副本异步同步数据；副本数据可能丢失
    • -1：所有机器同步成功，才能返回成功；强一致，不会丢数据。

5 服务高可用

  • 利用zk来保证集群中各节点的可靠性
  • 利用partition做分布式存储，保证数据可靠性
  • 利用副本来保证服务高可用
  • 具体不做介绍

rocketmq

1 参考文献

2 基本概念

  • 参考上述官网，中文介绍很详细

3. 技术架构

在这里插入图片描述

RocketMQ架构上主要分为四部分，如上图所示:
  • **Producer：**消息发布的角色，支持分布式集群方式部署。Producer通过MQ的负载均衡模块选择相应的Broker集群队列进行消息投递，投递的过程支持快速失败并且低延迟。
  • **Consumer：**消息消费的角色，支持分布式集群方式部署。支持以push推，pull拉两种模式对消息进行消费。同时也支持集群方式和广播方式的消费，它提供实时消息订阅机制，可以满足大多数用户的需求。
  • **NameServer：**NameServer是一个非常简单的Topic路由注册中心，其角色类似Dubbo中的zookeeper，支持Broker的动态注册与发现。主要包括两个功能：Broker管理，NameServer接受Broker集群的注册信息并且保存下来作为路由信息的基本数据。然后提供心跳检测机制，检查Broker是否还存活；路由信息管理，每个NameServer将保存关于Broker集群的整个路由信息和用于客户端查询的队列信息。然后Producer和Conumser通过NameServer就可以知道整个Broker集群的路由信息，从而进行消息的投递和消费。NameServer通常也是集群的方式部署，各实例间相互不进行信息通讯。Broker是向每一台NameServer注册自己的路由信息，所以每一个NameServer实例上面都保存一份完整的路由信息。当某个NameServer因某种原因下线了，Broker仍然可以向其它NameServer同步其路由信息，Producer,Consumer仍然可以动态感知Broker的路由的信息。
  • **BrokerServer：**Broker主要负责消息的存储、投递和查询以及服务高可用保证，为了实现这些功能，Broker包含了以下几个重要子模块。
    • Remoting Module：整个Broker的实体，负责处理来自clients端的请求。
    • Client Manager：负责管理客户端(Producer/Consumer)和维护Consumer的Topic订阅信息
    • Store Service：提供方便简单的API接口处理消息存储到物理硬盘和查询功能。
    • HA Service：高可用服务，提供Master Broker 和 Slave Broker之间的数据同步功能。
    • Index Service：根据特定的Message key对投递到Broker的消息进行索引服务，以提供消息的快速查询。

END: Kafka、ActiveMQ、RabbitMQ、RocketMQ 优缺点

在这里插入图片描述

thrunder liu
关注
专栏目录
一文让你搞懂高大上的MQ消息队列
qq_36551991的博客
07-02 391
什么是消息队列（MQ） 我们可以把消息队列比作是一个存放消息的容器，当我们需要使用消息的时候可以取出消息供自己使用。消息队列是分布式系统中重要的组件，使用消息队列主要是为了通过异步处理提高系统性能和削峰、降低系统耦合性。 说白了，MQ就是一个消息中间件，它在消息发送上游和消息接收下游之间，使用了MQ之后，消息的上下游之间就实现了解耦，上游消息的发送处理是通过MQ来实现的，而不是下游其他服务。 MQ的大体工作流程 MQ把要传输的数据（消息）放在队列中，用队列机制来实现消息传递——生产者产生消息并把消息放入队
一文帮你了解MQ
架构文摘
07-01 355
一、简介MQ全称为Message Queue-消息队列，是一种应用程序对应用程序的消息通信，一端只管往队列不断发布信息，另一端只管往队列中读取消息，发布者不需要关心读取消息的谁，读取消息者不需要关心发布消息的是谁，各干各的互不干扰。市场上现在常用的消息队列有：RabbitMQ、RocketMQ、Kafka，ActiveMQ二、MQ的优势(1) 解耦使用消息MQ后，只需要保...
一文了解消息中间件---RabbitMQ
qq_41582883的博客
07-09 493
消息中间件---RabbitMQ1 消息中间件的作用2. 常用的消息中间件3 消息中间件RabbitMQ3.1 RabbitMQ介绍3.3 RabbitMQ的队列模式3.3 RabbitMQ的工作模式4 RabbitMQ集群4.1 节点类型4.2 普通集群4.3 镜像模式4,4 远程模式（shovel）4.5 多活模式5 Rabbitmq的确认机制5.1 自动ack5.2 手动ack 1 消息中间件的作用 消息中间件作用有三个：异步处理消息、降低耦合度、流量削峰。 2. 常用的消息中间件 当前使用较多的消息
如何用消息系统避免分布式事务？
ainie4139的博客
08-12 1920
前阵子从支付宝转账1万块钱到余额宝，这是日常生活的一件普通小事，但作为互联网研发人员的职业病，我就思考支付宝扣除1万之后，如果系统挂掉怎么办，这时余额宝账户并没有增加1万，数据就会出现不一致状况了。 上述场景在各个类型的系统中都能找到相似影子，比如在电商系统中，当有用户下单后，除了在订单表插入一条记录外，对应商品表的这个商品数量必须减1吧，怎么保证？！在搜索广告系统中，当用户点击某广告...
消息队列MQ快速入门（概念、RPC、MQ实质思路、队列介绍、队列对比、应用场景）
热门推荐
Dean_xiu的博客
09-02 1万+
文章目录消息队列是个啥概念解释背景了解消息队列实质思路MQ原始模型原始模型的进化各类消息队列ActiveMQRabbitMQKafkaRocketMQZeroMQ怎么选（RabbitMQ/ActiveMQ/RocketMQ/Kafla）消息队列应用场景异步处理应用解耦流量削峰日志处理消息通讯 消息队列是个啥 概念解释 官方说法是，MQ（全称Message Queue）是一种进程间通信或同一进程的不同线程间的通信方式，队列就是一个消息容器 现实使用中，我们将消息队列称之为中间件，从它的名字就可以看出，消息队
ElasticSearch 一文读懂
zhouzhiwengang的专栏
07-28 1520
是一个基于Lucene库的搜索引擎。它提供了一个分布式、支持多租户的全文搜索引擎，具有HTTPWeb接口和无模式JSON文档。Elasticsearch是用Java开发的，并在Apache许可证下作为开源软件发布。官方客户端在Java、.NET（C#）、PHP、Python、、Ruby和许多其他语言中都是可用的。[5]根据DB-Engines的排名显示，Elasticsearch是最受欢迎的企业搜索引擎，其次是，也是基于Lucene。...
一文了解消息队列MQ（超详细+干货满满）
adobe754的博客
01-12 2866
一文了解消息队列MQ（超详细+干货满满）
RabbitMQ 一文读懂
zhouzhiwengang的专栏
08-03 844
MQ全称为，即消息队列， RabbitMQ是由erlang语言开发，基于AMQP（Advanced Message Queue 高级消息队列协议）协议实现的消息队列，它是一种应用程序之间的通信方法，消息队列在分布式系统开发中应用非常广泛。RabbitMQ官方地址：应用场景1、任务异步处理。将不需要同步处理的并且耗时长的操作由消息队列通知消息接收方进行异步处理。提高了应用程序的响应时间。2、应用程序解耦合MQ相当于一个中介，生产方通过MQ与消费方交互，它将应用程序进行解耦合。...
一文读懂 HTTPS
公众号：Java后端
03-18 330
下面我们来一起学习一下 HTTPS ，首先问你一个问题，为什么有了 HTTP 之后，还需要有 HTTPS ？我突然有个想法，为什么我们面试的时候需要回答...
一文读懂运维消息中间件之RabbitMQ
野熊佩骑的博客
03-06 1873
一文读懂运维消息中间件之RabbitMQ，适合小白学习及上班族日常工作参考。
一文读懂 Java 线程池
weixin_70730532的博客
06-07 189
在生产环境，我们经常面临的情况是：处理某次请求的时间非常短暂，但是请求量很大。在这种情况下，如果为每个请求单独创建一个线程，有限的硬件资源有可能会被OS创建线程，切换线程状态、销毁线程这些操作所占用，用于业务处理的资源反而减少了。所以理想的处理方式是：将请求的线程数量控制在一个范围内，既保证后续的请求不会等待太长时间，又保证物理机将足够的资源用于请求处理本身。开发者通常利用 ThreadPoolExecutor 类的构造函数来创建不同配置的线程池： 透过这个构造方法，可以大致勾勒出线程池的基本组
一文读懂消息队列
ANGEL CITY
12-27 1912
消息队列 消息队列是在消息的传输过程中保存消息的容器，消息队列管理器在将消息从它的源中继到它的目标时充当中间人。 队列的主要目的是提供路由并保证消息的传递；如果发送消息时接收者不可用，消息队列会保留消息，直到可以成功地传递它。 一、 产生背景： 现今，越来越多的企业面临着各种各样的数据集成和系统整合，CORBA、DCOM、RMI等RPC中间件技术也应运而生， 但由于采用R...
第二节：一文读懂链路追踪模型以及Skywalking Java探针实现原理
陈家少爷的专栏
04-06 1497
一文读懂链路追踪模型以及Skywalking Java探针实现原理，详细的阐述了 Skywalking Java Agent 的实现原理，快速帮助读者理解其设计的思想和架构。
程序员学Spring Boot 入门：一文读懂JavaEE以及Java EE架构！
人邮异步社区
02-10 881
1　Java EE 1.1　Java EE 我 1999年接触JSP，从2001年开始正式接触Java EE技术，当时面对JavaEE那么多组件和规范（比如，EJB技术），确实有点蒙圈。编写一个企业应用居然用到了那么多技术，曾经的电信项目，启动需要10分钟，每次发布都需要一个小时。作为新手的我是不能理解的，这也是当时大多数程序员的心态。然而Java EE ，针对复杂企业系统所指定的规范和实现，能满...
【kafka】消息队列
weixin_73815624的博客
09-10 870
②具有顺序的数据写入到了不同的partition里面，不同的消费者去消费，但是每个consumer的执行时间是不固定的，无法保证先读到消息的consumer一定先完成操作，这样就会出现消息并没有按照顺序执行，造成数据顺序错误。延迟队列：在kafka中创建一个消息队列，为队列设置延时时间，将消息推送到队列中打上时间戳，消息达到延时后自动被删除。从生产者的角度来说：使用确认机制，当发送消息后通过同步或者异步的方式直到成功接受才算发送成功，代替发后即忘的消息发送模式。7.怎么保证消息消费的顺序？
【kafka-02】kafka集群搭建
最新发布
zhenghuishengq的博客
09-14 1201
kafka集群搭建
Kafka高吞吐量的原因
天空之蓝的博客
09-13 1468
Kafka速度的秘诀在于，它把所有的消息都变成一个的文件。通过mmap提高I/O速度，写入数据的时候它是末尾添加所以速度最优；读取数据的时候配合sendfile直接暴力输出。阿里的RocketMQ也是这种模式，只不过是用Java写的。单纯的去测试MQ的速度没有任何意义，Kafka这种“暴力”、“流氓”、“无耻”的做法已经脱了MQ的底裤，更像是一个暴力的“数据传送器”。
kafka
qq_48501521的博客
09-13 1022
kafka消费模式：主要有2种，分别是一对一的消费和一对多的消费。一对一消费：点对点通信，一个发送，一个接收。消息发送者将消息发送至队列中，通知消费者从队列中拉去数据进行消费，消费完毕后，队列中消息删除。1条消息只能被1个消费者消费一对多消费：也成为发布/订阅模式，利用topic存储消息，消息生产者将消息发布到topic中，多个消费者监听此topic，多个消费者从topic中消费信息。消费者消费数据之后，数据不会被删除。kafka会默认保留一段时间，然后再删除。
一文读懂MADDPG算法
09-29
一文读懂MADDPG算法的文章介绍了MADDPG算法的基本原理和应用。MADDPG代表多智能体深度确定性策略梯度算法，是一种用于协同多智能体决策的强化学习算法。该算法通过维护一个actor-critic结构的网络，每个智能体都有...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值