Kafka开发问题解决思路

Kafka  在高并发的情况下 , 如何避免消息丢失和消息重复?

消息丢失解决方案:
首先对 kafka 进行限速， 其次启用重试机制，重试间隔时间设置长一些，最后 Kafka 设置
acks=all，即需要相应的所有处于 ISR 的分区都确认收到该消息后，才算发送成功
消息重复解决方案:
消息可以使用唯一 id 标识
生产者（ack=all 代表至少成功发送一次)
消费者 （offset 手动提交，业务逻辑成功处理后，提交 offset）
落表（主键或者唯一索引的方式，避免重复数据）
业务逻辑处理（选择唯一主键存储到 Redis 或者 mongdb 中，先查询是否存在，若存在则
不处理；若不存在，先插入 Redis 或 Mongdb,再进行业务逻辑处理）

 Kafka  保证数据一致性和可靠性

数据一致性保证

一致性定义：若某条消息对 client 可见，那么即使 Leader 挂了，在新 Leader 上数据依然

可以被读到

HW-HighWaterMark: client 可以从 Leade