RabbitMQ 之SpringBoot

RabbitMQ概念

Message
消息，消息是不具名的，它由消息头和消息体组成。消息体是不透明的，而消息头则由一系列的可选属性组成， 这些属性包括routing-key（路由键）、priority（相对于其他消息的优先权）、delivery-mode（指出该消息可 能需要持久性存储）等。
Publisher
消息的生产者，也是一个向交换器发布消息的客户端应用程序。
Exchange
交换器，用来接收生产者发送的消息并将这些消息路由给服务器中的队列。
Exchange有4种类型：direct(默认)，fanout, topic, 和headers，不同类型的Exchange转发消息的策略有所区别。
Queue
消息队列，用来保存消息直到发送给消费者。它是消息的容器，也是消息的终点。
一个消息可投入一个或多个队列。
消息一直在队列里面，等待消费者连接到这个队列将其取走。
Binding
绑定，用于消息队列和交换器之间的关联。
一个绑定就是基于路由键将交换器和消息队列连接起来的路由规则，所以可以将交换器理解成一个由绑定构成的路由表。
Exchange 和Queue的绑定可以是多对多的关系。
Connection
网络连接，比如一个TCP连接。
Channel
信道，多路复用连接中的一条独立的双向数据流通道。信道是建立在真实的TCP连接内的虚拟连接，AMQP 命令都是通过信道 发出去的，不管是发布消息、订阅队列还是接收消息，这些动作都是通过信道完成。因为对于操作系统来说建立和销毁 TCP 都 是非常昂贵的开销，所以引入了信道的概念，以复用一条 TCP 连接。
Consumer
消息的消费者，表示一个从消息队列中取得消息的客户端应用程序。
Virtual Host
虚拟主机，表示一批交换器、消息队列和相关对象。虚拟主机是共享相同的身份认证和加密环境的独立服务器域。每个 vhost 本质上就是一个 mini 版的 RabbitMQ 服务器，拥有自己的队列、交换器、绑定和权限机制。vhost 是 AMQP 概念的基础，必须在连接时指定，RabbitMQ 默认的 vhost 是 / 。
Broker
表示消息队列服务器实体。

消息路由

生产者把消息发布到 Exchange 上，消息最终到达队列并被消费者接收，而 Binding 决定交换器的消息应该发送到那个队列。

Exchange

Exchange分发消息时根据类型的不同分发策略有区别，目前共四种类型：direct、 fanout、topic、headers。headers 匹配的是消息的 header 而不是路由键， headers 交换器和 direct 交换器完全一致，但性能差很多，目前几乎用不到了。

Direct Exchange 直连型交换机
根据消息携带的路由键将消息投递给对应队列。
大致流程，有一个队列绑定到一个直连交换机上，同时赋予一个路由键 routing key 。
然后当一个消息携带着路由值为X，这个消息通过生产者发送给交换机时，交换机就会根据这个路由值X去寻找绑定值也是X的队列。

Fanout Exchange 广播交换机
这个交换机没有路由键概念，就算你绑了路由键也是无视的。 这个交换机在接收到消息后，会直接转发到绑定到它上面的所有队列。

Topic Exchange 主题交换机
这个交换机其实跟直连交换机流程差不多，但是它的特点就是在它的路由键和绑定键之间是有规则的。
它将路由键和绑定键的字符串切分成单词，这些单词之间用点隔开。
#匹配0个或多个单词，*匹配一 个单词。

SpringBoot整合RabbitMQ

1. 引入 spring-boot-starter-amqp
2. application.yml配置
3. 测试RabbitMQ
   1. AmqpAdmin：管理组件
   2. RabbitTemplate：消息发送处理组件
   3. @RabbitListener 监听消息的方法可以有三种参数（不分数量，顺序）
      • Object content, Message message, Channel channel

消息确认机制-可靠抵达

保证消息不丢失，可靠抵达，可以使用事务消息，性能下降250倍，为此引入确认 机制

• publisher confirmCallback 确认模式
• publisher returnCallback 未投递到 queue 退回模式
• consumer ack机制
  

可靠抵达-ConfirmCallback

spring.rabbitmq.publisher-confirm-type = correlated 表示开启生产者确认模式。
CorrelationData：用来表示当前消息唯一性。
消息只要被 broker 接收到就会执行 confirmCallback，如果是 cluster 模式，需要所有 broker 接收到才会调用 confirmCallback。
被 broker 接收到只能表示 message 已经到达服务器，并不能保证消息一定会被投递到目标 queue 里。所以需要用到接下来的 returnCallback。

可靠抵达-ReturnCallback

spring.rabbitmq.publisher-returns = true 开启退回模式。
spring.rabbitmq.template.mandatory = true 开启强制消息投递（mandatory为设置为true），但消息未被路由至任何一个queue，则回退一条消息到RabbitTemplate.ReturnCallback中的returnedMessage方法。
confrim 模式只能保证消息到达 broker，不能保证消息准确投递到目标 queue 里。
在有些业务场景下，我们需要保证消息一定要投递到目标 queue 里，此时就需要用到 return 退回模式。 这样如果未能投递到目标 queue 里将调用 returnCallback ，可以记录下详细到投递数据，定期的巡检或者自动纠错都需要这些数据。

可靠抵达-Ack消息确认机制

spring.rabbitmq.listener.simple.acknowledge-mode = manual 开启手动确认

消费者获取到消息，成功处理，可以回复Ack给Broker。

• basic.ack用于肯定确认；broker将移除此消息。
• basic.nack用于否定确认；可以指定broker是否丢弃此消息，可以批量。
• basic.reject用于否定确认；同上，但不能批量。

默认自动ack，消息被消费者收到，就会从broker的queue中移除。
queue无消费者，消息依然会被存储，直到消费者消费。

消费者收到消息，默认会自动ack。但是如果无法确定此消息是否被处理完成， 或者成功处理。
我们可以开启手动ack模式。

• 消息处理成功，ack()，接受下一个消息，此消息broker就会移除。
• 消息处理失败，nack()/reject()，重新发送给其他人进行处理，或者容错处理后ack。
• 消息一直没有调用ack/nack方法，broker认为此消息正在被处理，不会投递给别人，此时客户端断开，消息不会被broker移除，会投递给别人。

如何保证消息可靠性-消息丢失

• 消息发送出去，由于网络问题没有抵达服务器
  • 做好容错方法（try-catch），发送消息可能会网络失败，失败后要有重试机制，可记录到数据库，采用定期扫描重发的方式。
  • 做好日志记录，每个消息状态是否都被服务器收到都应该记录。
  • 做好定期重发，如果消息没有发送成功，定期去数据库扫描未成功的消息进行重发。
• 消息抵达Broker，Broker要将消息写入磁盘（持久化）才算成功。此时Broker尚未持久化完成，宕机。
  • publisher也必须加入确认回调机制，确认成功的消息，修改数据库消息状态。
• 自动ACK的状态下。消费者收到消息，但没来得及消息然后宕机。
  • 一定开启手动ACK，消费成功才移除，失败或者没来得及处理就noAck并重新入队。

如何保证消息可靠性-消息重复

• 消息消费成功，事务已经提交，ack时，机器宕机。导致没有ack成功，Broker的消息重新由unack变为ready，并发送给其他消费者。
• 消息消费失败，由于重试机制，自动又将消息发送出去。
• 成功消费，ack时宕机，消息由unack变为ready，Broker又重新发送。
  • 消费者的业务消费接口应该设计为幂等性的。比如扣库存有工作单的状态标志
  • 使用防重表（redis/mysql），发送消息每一个都有业务的唯一标识，处理过就不用处理。
  • rabbitMQ的每一个消息都有redelivered字段，可以获取是否是被重新投递过来的，而不是第一次投递过来的。

如何保证消息可靠性-消息积压

• 消费者宕机积压。
• 消费者消费能力不足积压。
• 发送者发送流量太大。
  • 上线更多的消费者，进行正常消费。
  • 上线专门的队列消费服务，将消息先批量取出来，记录数据库，离线慢慢处理。