Kafka怎么避免重复消费

首先Kafka Borker上存储的消息都有一个offset的标记，Kafka的消费者是通过offset这个标记来维护当前已经消费的数据，消费者每消费一批数据，Kafka就会更新offset的一个值，避免重复消费的问题。默认情况下，消息消费完成以后，会自动提交offset，避免重复消费。

Kafka消费端自动提交逻辑里有一个默认5秒的间隔，也就是说在5秒之后的下一次向Broker去获取消息的时候，来实现offset的提交。所以在Consumer消费过程中，应用程序强制被kill掉或者宕机的时候，可能会导致offset没有提交，从而会导致重复消费的问题。

除此之外，还有另外一种情况也会出现重复消费，在Kafka中有一个叫Partition Balance机制，就是把多个Partition均衡的分配给多个消费者。Consumer端会从分配的Partition里面去消费消息。如果Consumer在默认的5分钟以内没办法处理完这一批消息的时候，就会触发Kafka的Rebalance机制，从而导致offset自动提交失败。而在重新Rebalance之后，Consumer端还是会从之前的没有提交的offset的位置开始去消费，从而导致重复消费。

基于以上问题，可以有多种方法进行解决，

1、提高消费端的处理性能，避免触发Rebalance

      1）可以用异步方式来处理消息，缩短单个消息消费的时长

      2）调整消息处理的超时时间

      3）减少一次性从Broker上拉取数据的条数

2、可以针对消息生成MD5，然后保存到mysql或者redis里面，在处理消息之前先去mysql或者redis里面判断是否已经存在相同消息的MD5值，如果存在就不需要再次消费。这个方法是使用幂等性的思想来实现。