超级会员免费看
本文探讨了 Kafka 在分布式系统中可能会遇到的消息丢失问题，包括生产者、服务端（Broker）和消费者三个环节，并提供了确保消息不丢失的解决方案。重点介绍了配置参数如 `acks`、`retries` 和 `min.insync.replicas` 的重要性，以及消费端手动提交 offset 和避免 Rebalance 的策略。
引入 MQ 消息中间件最直接的目的：系统解耦以及流量控制（削峰填谷）
- 系统解耦： 上下游系统之间的通信相互依赖，利用 MQ 消息队列可以隔离上下游环境变化带来的不稳定因素。
- 流量控制： 超高并发场景中，引入 MQ 可以实现流量 “削峰填谷” 的作用以及服务异步处理，不至于打崩服务。
引入 MQ 同样带来其他问题：数据一致性。
在分布式系统中，如果两个节点之间存在数据同步，就会带来数据一致性的问题。消息生产端发送消息到 MQ 再到消息消费端需要保证消息不丢失。
所以在使用 MQ 消息队列时，需要考虑这 3 个问题：
- 如何知道有消息丢失？
- 哪些环节可能丢消息？
- 如何确保消息不丢失？
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
