RabbitMQ --- 惰性队列、MQ集群

一、惰性队列

1.1、消息堆积问题

当生产者发送消息的速度超过了消费者处理消息的速度，就会导致队列中的消息堆积，直到队列存储消息达到上限。之后发送的消息就会成为死信，可能会被丢弃，这就是消息堆积问题。

解决消息堆积有三种思路：

• 增加更多消费者，提高消费速度。也就是我们之前说的work queue模式

• 在消费者内开启线程池加快消息处理速度

• 扩大队列容积，提高堆积上限

要提升队列容积，把消息保存在内存中显然是不行的。

 

1.2、惰性队列

从RabbitMQ的3.6.0版本开始，就增加了Lazy Queues的概念，也就是惰性队列。惰性队列的特征如下：

• 接收到消息后直接存入磁盘而非内存

• 消费者要消费消息时才会从磁盘中读取并加载到内存

• 支持数百万条的消息存储

 

1.2.1、基于命令行设置lazy-queue

而要设置一个队列为惰性队列，只需要在声明队列时，指定x-queue-mode属性为lazy即可。可以通过命令行将一个运行中的队列修改为惰性队列：

rabbitmqctl set_policy Lazy "^lazy-queue$" '{"queue-mode":"lazy"}' --apply-to queues  

命令解读：

• rabbitmqctl ：RabbitMQ的命令行工具

• set_policy ：添加一个策略

• Lazy ：策略名称，可以自定义

• "^lazy-queue$" ：用正则表达式匹配队列的名字

• '{"queue-mode":"lazy"}' ：设置队列模式为lazy模式

• --apply-to queues：策略的作用对象，是所有的队列

 

1.2.2、基于@Bean声明lazy-queue

 

1.2.3、基于@RabbitListener声明LazyQueue

  

1.3、总结

消息堆积问题的解决方案？

• 队列上绑定多个消费者，提高消费速度

• 使用惰性队列，可以再mq中保存更多消息

惰性队列的优点有哪些？

• 基于磁盘存储，消息上限高

• 没有间歇性的page-out，性能比较稳定

惰性队列的缺点有哪些？

• 基于磁盘存储，消息时效性会降低

• 性能受限于磁盘的IO

 

 

二、MQ集群

2.1、集群分类

RabbitMQ的是基于Erlang语言编写，而Erlang又是一个面向并发的语言，天然支持集群模式。RabbitMQ的集群有两种模式：

• 普通集群：是一种分布式集群，将队列分散到集群的各个节点，从而提高整个集群的并发能力。
• 镜像集群：是一种主从集群，普通集群的基础上，添加了主从备份功能，提高集群的数据可用性。

镜像集群虽然支持主从，但主从同步并不是强一致的，某些情况下可能有数据丢失的风险。因此在RabbitMQ的3.8版本以后，推出了新的功能：仲裁队列来代替镜像集群，底层采用Raft协议确保主从的数据一致性。

 

2.2、普通集群

2.2.1、集群结构和特征

普通集群，或者叫标准集群（classic cluster），具备下列特征：

• 会在集群的各个节点间共享部分数据，包括：交换机、队列元信息。不包含队列中的消息。

• 当访问集群某节点时，如果队列不在该节点，会从数据所在节点传递到当前节点并返回

• 队列所在节点宕机，队列中的消息就会丢失

结构如图：

  

2.2.2、部署

集群分类

---

在RabbitMQ的官方文档中，讲述了两种集群的配置方式：

• 普通模式：普通模式集群不进行数据同步，每个MQ都有自己的队列、数据信息（其它元数据信息如交换机等会同步&#x