kafka避免消息丢失和重复消费

最新推荐文章于 2024-06-24 10:38:04 发布

然并卵0808

最新推荐文章于 2024-06-24 10:38:04 发布

阅读量2.4k

点赞数 1

本文链接：https://blog.csdn.net/qq_31047245/article/details/103590270

版权

本文探讨了如何避免Kafka消息丢失，包括设置broker的保留策略和消费者offset管理，以及生产者的ack机制。同时，分析了重复消费的原因，如offset未提交、线程中断、session超时等，并提出了自动提交offset、限速及维护offset记录等解决方案。

摘要由CSDN通过智能技术生成

消息丢失

在没有外部系统清除kafka消息的情况下，协调设置broker的最大保留大小 log.retention.bytes 和最大保留时间log.retention.hours 等，来配合消费者端的读取消息。可以通过读取和监控消费者消费的offsets，来保证消息不会被意外清除。

当消费者意外中断时，重新启动消费时能够从上一次中断的消息偏移量开始消费。

生产者数据的不丢失
kafka的ack机制：在kafka发送数据的时候，每次发送消息都会有一个确认反馈机制，确保消息正常的能够被收到。

producer.type=sync 
request.required.acks=1

如果是异步模式：通过buffer来进行控制数据的发送，有两个值来进行控制，时间阈值与消息的数量阈值，如果buffer满了数据还没有发送出去，如果设置的是立即清理模式，风险很大，一定要设置为阻塞模式

producer.type=async 
request.required.acks=1 
queue.buffering.max.ms=5000 
queue.buffering.max.messages=100

关注