【架构篇】技术选型-消息队列-CSDN博客

本文链接：https://blog.csdn.net/qq_38537286/article/details/148061141

一、什么是消息队列？

消息队列（Message Queue, MQ）是一种异步通信机制，通过中间 Broker 来暂存生产者发送的消息，供消费者按需消费。它在分布式系统中常用于解耦、削峰填谷、实现异步处理。

核心组成：

Producer（生产者）：发送消息的一方。
Consumer（消费者）：接收并处理消息的一方。
Broker（代理）：消息中间件服务端，负责存储、转发消息。
Queue/Topic（队列/主题）：消息的分类标识。

类比理解：

可以把消息队列想象成一个“电子邮局”，生产者把信件投递到邮箱（MQ），消费者从邮箱取信阅读，整个过程是非实时的、异步的。

二、消息队列的核心作用

作用	描述
解耦	生产者和消费者无需直接对接，降低系统依赖性
异步处理	提升系统响应速度，避免阻塞主线程
削峰填谷	缓冲突发流量，防止后端服务崩溃
可靠传输	支持持久化、ACK确认机制，确保消息不丢失
横向扩展	易于水平扩展，适应高并发场景

三、典型使用场景

1. 异步处理

比如用户注册后发送验证码、下单后发放优惠券，这类操作不需要立即完成，但必须可靠执行。

✅优势：主流程快速返回，用户体验更好。

2. 应用解耦

订单系统与物流系统之间通过 MQ 解耦，订单完成后通知物流系统发货。

✅优势：系统独立开发、部署、维护，风险可控。

3. 流量削峰

双十一秒杀、演唱会抢票等瞬时高峰场景，MQ 可以缓冲大量请求，保护底层服务。

✅优势：系统稳定性更高，不会因为瞬间流量爆炸而宕机。

四、主流消息队列对比（最新版）

特性 / 队列	RabbitMQ	Kafka	RocketMQ	ActiveMQ	Pulsar
吞吐量	万级	百万级	十万级	万级	百万级
延迟	微秒级	毫秒级	毫秒级	毫秒级	毫秒级
协议支持	AMQP, STOMP	自定义协议	自定义协议	OpenWire, MQTT	多协议支持
存储方式	内存为主	分布式日志	文件系统	文件/内存	BookKeeper
可靠性	高	高	极高	中	高
社区活跃度	成熟稳定	极活跃	活跃	老牌但发展放缓	快速成长
适用场景	企业级复杂路由	日志流、大数据	金融交易、电商	传统企业应用	云原生、多租户

五、消息队列的优缺点

优点

异步通信：提升系统响应能力；
解耦设计：降低模块间依赖；
削峰填谷：应对突发流量；
持久化保障：支持消息持久化，避免数据丢失；
横向扩展性：可轻松增加消费者节点。

缺点

复杂性上升：引入 MQ 增加了系统部署、监控、排错的复杂度；
延迟风险：网络问题或消息积压可能导致延迟；
一致性挑战：分布式环境下可能出现消息重复、顺序错乱；
资源开销：需要额外服务器运行、管理；
单点故障隐患：需设计 HA 架构，避免成为瓶颈。

六、Java 实战：RabbitMQ & Kafka 示例

1. RabbitMQ 示例

Maven 依赖

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-amqp</artifactId>
</dependency>

生产者

@Component
public class RabbitMQProducer {
    @Autowired
    private AmqpTemplate amqpTemplate;

    public void sendMessage(String message) {
        amqpTemplate.convertAndSend("test-topic", message);
        System.out.println("Sent: " + message);
    }
}

消费者（含手动 Ack）

@Component
public class RabbitMQConsumer {

    @RabbitListener(queues = "test-topic")
    public void receiveMessage(String message, Channel channel, @Header(AmqpHeaders.DELIVERY_TAG) long deliveryTag) throws IOException {
        try {
            System.out.println("Received: " + message);
            channel.basicAck(deliveryTag, false); // 手动确认
        } catch (Exception e) {
            channel.basicNack(deliveryTag, false, true); // 消费失败，重新入队
        }
    }
}

2. Kafka 示例

Maven 依赖

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>3.7.0</version>
</dependency>

生产者（带回调）

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", StringSerializer.class.getName());
props.put("value.serializer", StringSerializer.class.getName());

KafkaProducer<String, String> producer = new KafkaProducer<>(props);

ProducerRecord<String, String> record = new ProducerRecord<>("user-behavior", "Click Event");

producer.send(record, (metadata, exception) -> {
    if (exception != null) {
        exception.printStackTrace();
    } else {
        System.out.printf("Message sent to partition %d%n", metadata.partition());
    }
});
producer.close();

消费者（带自动提交与拉取间隔控制）

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "user-group");
props.put("enable.auto.commit", "true");
props.put("auto.commit.interval.ms", "1000");
props.put("key.deserializer", StringDeserializer.class.getName());
props.put("value.deserializer", StringDeserializer.class.getName());

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Collections.singletonList("user-behavior"));

while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        System.out.printf("Received: %s at offset %d%n", record.value(), record.offset());
    }
}

七、如何选择合适的消息队列？

决策树模型

你的需求	推荐 MQ
高吞吐、日志处理、大数据管道	Kafka
低延迟、复杂路由规则、企业集成	RabbitMQ
金融级事务、订单处理	RocketMQ
多租户、云原生架构	Apache Pulsar
已有 Spring Boot 技术栈	RabbitMQ 或 RocketMQ
移动物联网设备通信	Pulsar 或 MQTT 结合 ActiveMQ