相关阅读
基础组件
Message
消息,消息时不具名的,由消息头和消息体组成;消息体是不透明的,消息头则是由一系列的可选属性组成,这些属性包括:routing-key
(路由键)、priority
(相对其它消息的优先权)、delivery-mode
(指出该消息可能需要持久性存储)等;
Publisher
消息的生产者,也是一个向交换器发布消息的客户端应用程序;
Exchange
交换器,用来接收生产者发送的消息,并将这些消息路由给服务器中的队列;
Exchange分发消息时根据类型的不同,分发策略有区别,目前支持四种类型:direct、fanout、topic、headers;
direct
完全匹配,单播模式;
消息中的路由键routing-key
如果和Binding中的binding-key
一致,交换器就将消息发到对应的队列中;路由键与队列名完全匹配,如果一个队列绑定到交换机时路由键为demo
,那么只会转发routing-key
为demo
的消息,不会转发demo.xxx
的消息;
fanout
广播模式;
每个发到fanout交换器的消息都会分到所有绑定的队列上,它不处理路由键,只是简单地将队列绑定到交换器上,将每个到达的消息转发到绑定的所有队列上;
topic
模式匹配,支持通配符匹配;
队列绑定到一个模式上,根据消息的路由键将消息转发到匹配的模式所绑定的队列中;
通配符支持:#
匹配0个或多个单词,*
匹配一个单词;
headers
headers匹配AMQP消息的header,而不是路由键;
headers交换器和direct交换器完全一致,但性能差很多;
Queue
消息队列,用来保存消息直到发送给消费者;它是消息的容器,也是消息的终点;一个消息可投入一个或多个消息队列;消息一直在d消息队列中,等待消费者连接到这个消息队列将其取走;
Binding
绑定,用于消息队列和交换器之间的关联;一个绑定就是基于路由键将交换器和消息队列连接起来的路由规则,所以可以将交换器理解成一个由绑定构成的路由表;Exchange和Binding是多对多的关系;
Connection
网络连接,比如一个TCP连接;
Channel
信道,多路复用连接中的一条独立的双向数据流通道;信道是建立在真实的TCP连接内的虚拟连接,AMQP命令都是通过信道发出去的,不管是发布消息、订阅队列,还是接收消息,都是通过信道完成;因为对于操作系统来说,建立和销毁TCP都是非常昂贵的开销,所以引入信道的概念,以复用一条TCP连接;
Consumer
消息的消费者,表示一个从消息队列中取得消息的客户端应用程序;
Virtual Host
虚拟主机,表示一批交换器、消息队列、相关对象;虚拟主机是共享相同的身份认证和加密环境的独立服务器域,每个vhost本质上就是一个mini版的RabbitMQ服务器,拥有自己的队列、交换器、绑定、权限机制;vhost是AMQP概念的基础,必须在连接时指定,RabbitMQ默认的vhost是/
;
Broker
表示消息队列服务器实体;
可靠消息
消息丢失
场景一
消息方法出去,但由于网络问题没有抵达服务器;
解决方法
- 做好容错(try-catch),发送消息可能会网络失败,失败后要有重试机制;可记录数据库,采用定期扫描重发的方式;
- 做好日志记录,每个消息状态是否都被服务器收到都应该记录;
做好定期重发,如果消息没有发送成功,定期去数据库扫描未成功的消息进行重发;
场景二
消息抵达broker,broker要将消息写入磁盘(持久化)才算成功;此时,broker尚未持久化完成,宕机;
解决方法
- publisher必须加入确认回调机制,确认成功的消息,修改数据库消息状态;
场景三
自动ACK的状态下,消费者收到消息,还未来得及处理消息,宕机;
解决方法
- 开启手动ACK,消费成功才移除,失败或者没有来得及处理就noACK,并重新入队;
消息重复
场景
- 消息消费成功,事务已经提交,ack时,机器宕机,导致ack失败,broker将消息状态由unack变为ready,并发送给其它消费者;
- 消息消费失败,由于重试机制,自动又将消息发送出去;
解决方法
- 消费者的业务消费接口应该设计为幂等性的;
- 使用防重表,发送消息每个都有一个业务的唯一标识,处理过就不用处理;
- rabbitMQ的每一个消息都有redelivered字段,可以判断是否是被重新投递过来的;
消息积压
场景
- 消费者宕机积压;
- 消费者消费能力不足积压;
- 发送者发送流量太大;
解决方法
- 上线更多的消费者,进行正常消费;
- 上线专门的队列消费服务,将消息先批量取出来,记录数据库,离线慢慢处理;
可靠抵达
- 保证消息不丢失,可靠抵达,可以使用事务消息,性能下降250倍,为此引入确认机制;
- publisher confirmCallback确认模式
- publisher returnCallback未投递到queue退回模式
- consumer ack机制
confirmCallback确认模式
配置项spring.rabbitmq.publisher-confirms=true
开启确认模式;
在创建connectionFactory
时设置publisherConfirms(true)
,开启confirmCallback;
CorrelationData
用于表示当前消息唯一性;
消息只要被broker接收到就会执行confirmCallback,如果是cluster模式,需要所有broker接收到才会调用confirmCallback;
被broker接收到只能表示消息到达服务器,并不能保证消息一定会被投递到目标queue里;
returnCallback
配置项spring.rabbitmq.publisher-returns=true
、spring.rabbitmq.template.mandatory=true
;
如果消息未能投递到目标queue将调用returnCallback
,可以记录下详细投递数据,以便后续定期的巡检或自动纠错;
Demo
依赖
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-amqp</artifactId>
</dependency>
配置
配置RabbitMQ
相关信息,如下:
spring:
main:
# 支持循环依赖
allow-circular-references: true
rabbitmq:
host: 0.0.0.0
port: 5672
virtualHost: /
username: admin
password: admin
# 开启生产者确认
publisher-confirm-type: correlated
# 开启生产者返回
publisher-returns: true
template:
# 开启强制信息
mandatory: true
listener:
simple:
# 开启消费者手动ACK
acknowledge-mode: manual
通过@EnableRabbit
注解开启RabbitMQ功能,代码如下:
@Configuration
@EnableRabbit
@Slf4j
public class RabbitmqConfig {
@Bean
public MessageConverter messageConverter() {
return new Jackson2JsonMessageConverter();
}
@Autowired
public void setRabbitTemplate(RabbitTemplate rabbitTemplate) {
rabbitTemplate.setConfirmCallback((correlationData, ack, cause) ->
log.info("{} {} {}", correlationData, ack, cause));
rabbitTemplate.setReturnsCallback(returned ->
log.info("{} {} {} {} {}", returned.getExchange(), returned.getRoutingKey(),
returned.getMessage(), returned.getReplyText(), returned.getReplyCode()));
}
}
消息
@Data
@Builder
@NoArgsConstructor
@AllArgsConstructor
public class DemoMessage implements Serializable {
private static final long serialVersionUID = 1L;
private String id;
private String message;
}
生产者
public class DemoProducer {
private final RabbitTemplate rabbitTemplate;
public DemoProducer(RabbitTemplate rabbitTemplate) {
this.rabbitTemplate = rabbitTemplate;
}
public void produce() {
produce("demo", "rabbitmq.demo");
}
public void produce(String exchange, String routingKey) {
DemoMessage message = DemoMessage.builder()
.id(UUID.randomUUID().toString())
.message("This is a test message")
.build();
this.rabbitTemplate.convertAndSend(
exchange, routingKey, message, new CorrelationData(message.getId()));
}
}
消费者
@Component
@RabbitListener(queues = {"rabbitmq.demo"})
@Slf4j
public class DemoConsumer {
@RabbitHandler
public void handleMessage(@Payload DemoMessage demo, Message message, Channel channel) {
log.info("{}", demo);
try {
channel.basicAck(message.getMessageProperties().getDeliveryTag(), true);
} catch (IOException e) {
log.error(e.getMessage(), e);
// TODO retry
}
}
}
测试
测试Exchange
、Queue
、Binding
创建;
@SpringBootTest
class AqmpTest {
@Autowired
private AmqpAdmin aqmpAdmin;
@Test
void testExchange() {
this.aqmpAdmin.declareExchange(new DirectExchange("demo", true, false));
}
@Test
void testQueue() {
this.aqmpAdmin.declareQueue(new Queue("rabbitmq.demo", true, false, false));
}
@Test
void testBinding() {
this.aqmpAdmin.declareBinding(new Binding(
"rabbitmq.demo", DestinationType.QUEUE, "demo", "rabbitmq.demo", null));
}
}
测试生产着;
@SpringBootTest
class ProducerTest {
@Autowired
private RabbitTemplate rabbitTemplate;
@Test
void testSendMessage() {
DemoProducer producer = new DemoProducer(this.rabbitTemplate);
producer.produce();
}
@Test
void testSendError() {
DemoProducer producer = new DemoProducer(this.rabbitTemplate);
producer.produce("demo", "error");
}
}