kafka重复消费场景及解决策略

重复消费场景

1.producer因网络波动未收到broker回复的ack，重复发送了消息

2.分区重平衡

3.kill -9程序，导致offset未提交

解决策略

如果消费端支持重复消费，如redis天然幂等，就不需要其他操作。

如果消费者不支持重复消费，则需要在消费端做幂等性验证。可以在消息中加上全局唯一ID，消费端处理之前去redis/hbase中查询该消费是否已经消费过，redis过期时间可以设置为1小时。

需要注意的是：需要使用优雅停机来保证消费端正确结束而不是在处理过程中中断。

 

springboot优雅停机代码

server:
  #开启优雅停机，不能使用kill -9杀，需要使用kill -2杀
  shutdown: graceful