消息中间件指北

什么是消息中间件

名词概念

  • 消息(Message):计算机之间传送的信息统称
  • 队列(Queue):一种先进先出的数据结构
  • 消息队列(Message Queue):存放消息的容器
  • 中间件:一种软件或服务程序;具体业务和底层逻辑之间的桥梁
  • 消息队列中间件(简称消息中间件):分布式系统中处理消息的桥梁,类似于邮局

为什么要使用消息中间件?

用三个应用场景说明,解耦、异步、削峰

解耦

在这里插入图片描述

传统模式中,系统A的代码直接调用系统BCD的代码,系统间耦合性太强,如果此时有一个系统E需要接入系统A,还需要进行代码修改。

中间件模式中,系统A的消息写入消息队列,系统BCD按需从消息中间件中订阅,系统A不需要任何代码修改。

异步

在这里插入图片描述

传统模式同步方式运行系统逻辑,比较耗时,如上图用时150ms。
在这里插入图片描述

中间件模式将消息写入消息队列,没有必要及时响应的业务逻辑可以异步运行,缩短耗时。

削峰

在这里插入图片描述

传统模式下,非常多的用户请求同时到达系统A,相当于用户请求的高峰,写入到数据库的时候就可能出现连接异常。
在这里插入图片描述

中间件模式下,有了消息中间件作为过渡,系统A可以根据数据库的承载能力慢慢拉取请求消息,增强系统的稳定性。

消息中间件的组成

  • Broker

消息服务器,以服务的形式运行在server端,给各个业务系统提供核心消息数据的中转服务(消息中间件的一个实例)

  • Producer

消息生产者,业务的发起方,负责生产消息传输给broker

  • Consumer

消息消费者,业务的处理方,负责从broker获取消息并进行业务逻辑处理

  • Topic

主题,发布订阅模式下的消息统一汇集地,不同生产者向topic发送消息,由broker分发到不同的订阅者,实现消息的广播

  • Queue

队列,PTP(点对点)模式下,特定生产者向特定queue发送消息,消费者订阅特定的queue完成指定消息的接收

  • Message

消息体,根据不同通信协议定义的固定格式进行编码的数据包,来封装业务数据,实现消息的传输

两种基本的消息模型

  • Point-to-Point(PTP)/点对点

    img
  1. queue作为消息的中转站;
  2. 一般采用轮询的模式发送给消费者,一条消息一旦被其中一个消费者消费,则queue不再保存该消息,即一条消息只能被一个消费者消费一次。
  3. 若暂时没有消费者,则消息会一直保存在queue,直至出现可用的消费者消费掉该条消息。
  • Topic/主题(也叫Pub/Sub发布订阅模式也叫广播)

img
  1. topic作为消息的中转站
  2. topic实现了发布和订阅,当发布一个消息,所有订阅这个topic的服务都能得到这个消息,所以从1到N个订阅者都能得到一个消息的拷贝。
  3. topic中的消息可以被一个以上的消费者消费;也可以不被消费

消息中间件的使用场景

异步通信

可以将消息放在queue中,根据需求再去处理。

解耦

对项目各系统进行解耦,降低工程系统间的强依赖程度。当应用发生变化时,可以独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束,降低了修改的工作量。

冗余

消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。

数据持久化一般都是将消息存储到本地磁盘中,也有少数消息中间件支持将数据持久化到数据库中,这都会对消息系统的性能造成一定的影响。

扩展性

采用消息队列解耦处理过程后,增大消息入队和处理的频率只需要另外增加处理过程即可,便于分布式扩容。

过载保护(削峰)

在访问量剧增的情况下,应用仍然需要继续发挥作用,但是这样的突发流量无法提取预知;若为了能处理这类瞬间峰值访问,从而投入资源非常浪费。使用消息队列能够使关键组件顶住突发的访问压力,而不会因为突发的超负荷的请求而完全崩溃。

可恢复性

系统的一部分组件失效时,不会影响到整个系统。消息队列降低了进程间的耦合度,所以即使一个处理消息的进程挂掉,加入队列中的消息仍然可以在系统恢复后被处理。

顺序保证

在大多使用场景下,数据处理的顺序都很重要。大部分消息队列本来就是排序(queue队列先进先出)的,并且能保证数据会按照特定的顺序来处理。

缓冲

在任何重要的系统中,都会有需要不同的处理时间的元素。消息队列通过一个缓冲层来帮助任务最高效率的执行,该缓冲有助于控制和优化数据流经过系统的速度,以调节系统响应时间。

数据流处理

分布式系统产生的海量数据流,如:业务日志、监控数据、用户行为等,针对这些数据流进行实时或批量采集汇总,然后进行大数据分析是当前互联网的必备技术,通过消息队列可以很好地完成此类数据收集的任务。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值