kafka重复消费（总结）

根本原因

已经消费的数据，但是offset没有成功提交

具体情况：

1. 消费者宕机、重启，导致消息已经消费但是未提交offset。
2. 消费者处理比较耗时，一次poll的数据，在max.poll.interval.ms达到最大值后仍未完成，未提交offest，触发rebalance。
3. 消费者使用自动提交offset，但当还没有到auto.commit.interval.ms的时间，没来的及提交。有新的消费者加入或者移除，发生了rebalance。
4. 超过session.timeout.ms的时间未发送心跳包，集群认为consumer宕机，触发rebalance，一般为网络问题。

解决方法

如下几种：

1. 根据每条消息的平均处理时长，减少每次poll的个数。
2. 提高max.poll.interval.ms的值。
3. 给每个消息添加唯一索引，缓存消费过的消息id。
4. consumer异步处理消息。

关键参数配置

max.poll.records

consumer每次poll的条数。
默认500条

max.poll.interval.ms

两次调用poll取数据的最大延迟时间，超过这个时间消费组会发生rebalance。
默认5分钟

heartbeat.interval.ms

consumer发送心跳包的间隔。
默认3秒

session.timeout.ms

consumer发送心跳包的超时时间。
默认10秒

enbale.auto.commit

是否自动提交offset。
默认为true

auto.commit.interval.ms

当enbale.auto.commit参数设置为 true 时才生效，表示开启自动提交消费位移功能时自动提交消费位移的时间间隔。
默认5秒

参考链接：
kafka重复消费
重复消费解决办法
重要参数配置