kafka关于数据重复的问题、解决

可能出现重复消费的场景

1. broker上存储的消息都有一个offset标记，消费者通过offset标记来维护已消费数据，每消费一批数据，broker更新offset值，以此来规避重复消费问题。消费端的逻辑中有一个5秒的间隔，5秒后向broker获取消息时提交offset，此时broker程序被kill或出现宕机的情况时，会导致offset没有提交上去，从而导致在下一次消费时从未提交的offset上继续读取，出现重复消费的情况
2. partition Balance机制。消费者在默认时间里(5min)无法处理这批消息，则会触发Balance机制，导致offset自动提交失败，下一次消息又会从未提交的offset上继续读取，出现重复消费的情况

解决

1. 提高消费端的处理性能，避免触发Balance；
2. 用异步的方式处理消息，缩短单个消费时长
3. 调整消息处理的超时时间，将时间维度拉长，避免触发Balance
4. 减少一次性从broker上拉取数据的条数
5. 幂等性思想，针对消息生成md5，然后保存到mysql或redis中，处理消息之前先去mysql或redis里面判断是否已经消费过