Group组
在RocketMQ中存在组的概念,有生产者组,也有消费者者,而每一个生产者或者消费者都是某个组的成员之一。而且对于组来说RocketMQ中的消息可以将它们看成一个个体。
生产者组
生产者组的特殊性在于处理分布式事务时,当生产者组内有生产者无法提供事务回调,就会由组内其他生产提供事务回调。
- 生产者组的创建
根据创建实例时的组名分组
- 事务回调示例
下面将演示生产者组的特性,由同组成员实现事务的回调,至于分布式事务的代码可以参考前面的小节,下面是两个生产者,同属于一个生产者组,其中一个会生产消息并开启事务,其中消息“t3”会挂起事务,这个时候我们将第一个生产者停掉,这个时候RocketMQ就无法实现回调,这个时候第二个生产者因为同属于一个生产者组,所以可以代替同组的生产者回调事务。
如果回调时没有找到任何一个组内的生产者,那么它会等待一段时间在回调一次。
消费者组
消费者组的特殊性在于同一消费者组内成员可以同时处理某一topic的所有消息。
- 消费者组的创建
根据创建实例时的组名分组
- 消费者组的消费方式
消费者组内成员的消费消息的方式存在两种:
- 集群:消息对于整个组来说是不重复的,RocketMQ默认是集群模式
- 广播:所有的消息每个组员都会消费一次,相当于消息被重复消费了
下面就是设置消费者组消费模式的方式
- 消息的分配方式
前面说过消费者组的消费模式默认是集群,那么就存在消息的分配方式,RocketMQ总共有6种分配方式,其中默认的分配方式是AllocateMessageQueueAveragely,也就是分页的方式。其中这些分配方式类都有一个统一的接口AllocateMessageQueueStrategy。
下面是设置消息分配方式的函数
这里为了方便说明某些分配方式,假设一个消费者组内存在3个消费者,而它们同时消费某一个topic,这个topic中存在8个读队列。
- AllocateMessageQueueAveragely
分页模式就是首先把读队列平均分成消费者数量的份数,当然如果有除不尽的情况下那么剩余的一个便只会得到余下的队列。
- AllocateMessageQueueAveragelyByCircle
轮询模式就是每个消费者依次消费一个队列直至消费完所有队列
- AllocateMachineRoomNearby
就近(broker)机房分配方式,这个从字面意思就可以解读,消费者会选择比较进的队列并读取
- AllocateMessageQueueByMachineRoom
这种分配方式指定一个broker,我们知道topic就是存储在某一个broker中的,我们可以指定消费者只消费某一个broker中的队列。
- AllocateMessageQueueByConfig
这种分配方式是指定某一个队列消费
- AllocateMessageQueueConsistentHash
这种分配方式是hash环的方式,大致的分配流程如下,环的总大小一般是2的32次方减1,首先减每个消费者hash并散列在环上,两两之间的就是属于其中之一的消费者,一旦有队列的hash值散列在其中,那么这个消费者就会消费此队列。
注意:如果消费者数大于队列数,那么就有可能出现某个(些)消费者挂机造成资源浪费,所以尽量保证队列数大于消费者数。
与springboot整合
Github地址
https://github.com/apache/rocketmq-spring
注意目前只支持2.0以上springboot项目
引入依赖
- 生产者
下面引入了spring boot的web、mybatis和rocketmq依赖,还有就是alibaba连接池的依赖和mysql驱动的依赖。这里引入mybatis和mysql的依赖是为了后面演示事务的操作。
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web
</artifactId>
</dependency>
<dependency>
<groupId>org.apache.rocketmq</groupId>
<artifactId>rocketmq-spring-boot-starter</artifactId>
<version>2.1.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/c3p0/c3p0 -->
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>druid</artifactId>
<version>1.1.14</version>
</dependency>
<dependency>
<groupId>org.mybatis.spring.boot