RabbitMq是由erLang语言开发的基于AMQP协议的开源消息队列。AMQP特征主要是面向消息,队列,路由(包括点对点、发布订阅),可靠性,安全。AMQP协议更多用在企业系统内,对数据一致性,稳定性和可靠性要求比较高的场景。
核心概念:
- server:又称为brocker,接受客户端的连接实现AMOP实体服务工作
- connection:应用程序与brocker之间的网络连接
- channel:网络信道,几乎所有的操作都在这里进行,是进行消息读写的通道。客户端可以建立多个通道,每个通道代表一 个会话任务。
- message:消息,服务器和应用程序之间传送的数据,由properties和body组成。properties可以对消息修饰,比如消息的优先级,延迟性等。body就是消息内容。
- virtual host:虚拟主机地址。用于进行逻辑隔离。最上层的消息路由。一个virtual host 里面可以有若干个Exchange 和Queue,同一个virtual host不能有相同名称的Exchange或Queue.
- Exchange:交换机,接受消息,根据路由key转发消息到绑定的队列
- bingding:Exchange和Queue之间的虚拟连接,bingding中可以包含 routing key
- Routing key:一个路由规则,虚拟机用它来确定如何路由一个特定消息
- Queue: 消息队列,保存消息并转发给消费者
Exchange交换机属性
- name 交换机名称
- type 交换机类型,direct,topic,headers,fanout
- Durability 是否需要持久化
- auto delete 当交换机上的队列删除后,自动删除Exchange
- internal 当前Exchange是否用于Rabitmq内部使用,默认为false
- Arguments 扩展参数,用于扩展AMQP协议自制应用
Message属性
为了了解消息属性,我们首先要知道AMQP的Basic.Properties数据结构,因为每条消息都包含这一结构。
包含在消息头帧中的消息属性是一组预定义的值,这些值通过Basic.Properties数据结构指定。如delivery-mode属性,这一属性告诉你RabbitMQ保存消息到内存中时,是否应该先存入磁盘。
首先我们介绍一下Basic.Properties的各个基本属性:
- content-type: 内容体的类型,如application/json
- content-encoding: 压缩或编码格式
- message-id和correlation-id: 唯一标识消息和消息响应,用于工作流程中实现消息跟踪
-timestamp: 减少消息大小,描述消息创建时间
- expiration: 表明消息过期
- delivery-mode: 将消息写入磁盘或内存队列
- app-id和user-id: 帮助追踪出现问题的消息发布者应用程序
- type: 定义消息类型的自由格式字符串值
- reply-to: 实现响应消息的路由
- headers: 是一个映射表,定义自由格式的属性和实现rabbitmq路由
高级特性
消息如何保障100%投递成功?
保障消息的成功发出
保障mq节点的成功接收
发送端收到mq确认应答
完善的消息补偿机制:消息落库状态打标/消息的延迟投递,做二次确认,回调检查
消费端幂等性
唯一ID+指纹锁机制利用数据库主键去重
利用redis的原子性去实现
Confirem确认机制
- 消息的去人是指生产者投递消息后,如果broker收到消息,则会给生产者一个应答
- 生产者进行接收应答,用来确定这条消息是否正常达到broker
如何实现确认消息?
第一步在channel上,开启确认模式。channer.confirmSelect()
第二步在channel上,添加监听 addConfireListener,监听成功或者失败的处理结果
Return消息机制
ReturnListener用于处理一些不可路由的消息
Mandatory如果为true,则监听器会接收到路由不可达的消息然后进行后续处理,如果为false,Broker会自动删除消息
消费端限流
Rabbitmq提供了一种qos(服务质量保证)功能,即在非自动确认模式下,如果一数目的消息(通过基于consumer或者channel设置Qos的值)未被确认前,不进行新的消息消息。
void BasicQos(uint prefetchSize,ushort prefetchCount,bool global);
死信队列Dlx-----Dead-letter-Exchange
利用Dlx,当消息在一个队列中变成死信之后,它能被重新发布到另一个Exchange,这个Exchange就是DLX
死信队列情况:
消息被拒绝(basic.reject/basic.nack)并且requeue = false
消息TTL过期
队列达到最大长度
死信队列的设置