kafka配置项offsets.retention.minutes导致offset丢失的问题

最近在一个项目中遇到kafka的current-offset丢失的问题。

问题现象是，服务程序在暂停kafka的一个topic消费后，过了一天多，运维人员发现这个topic的消费组的current-offset丢失，在服务程序继续消费这个topic，消费者只能从最新的offset开始消费，导致之前一天累积的数据没有被处理。

经过排查发现，是kafka的配置项offsets.retention.minutes导致。offsets.retention.minutes设置服务端保存消费者提交的offset的时间，如果超过这个时间未提交offset，即没有更新current-offset，服务端将删除当前保存的current-offset。如果current-offset删除了，那么消费者启动后将无法从kafka上获取offset，只能根据配置从最新（earliest）或者最老（oldest）的地方开始消费。

但是，我们在前期开发测试的时候，也有过好几天只消费不提交offset的情况，但是kafka上的offset并没有删除。

后来我们发现，这是由于线上服务使用的kafka版本的原因，我们自测用kafka版本是2.21，但是线上的kafka版本是0.11的。

版本相差较大的kafka版本，kafka服务端配置项offsets.retention.minutes，即offset的过期时间，具体实现不一样。

kafka版本2.21，经过测试发现，在消费者存在期间，无论多长时间不提交offset，kafka都不会清理offset。在消费者停止之后，在设定的offsets.retention.minutes时间之后，才会把服务端保存的group的offset删除。从2.0.0版本开始，offsets.retention.minutes的默认值为7天。

kafka版本0.11，经过测试发现，在消费者存在期间，只要超过offsets.retention.minutes的时间，消费者没有提交offset，kafka服务端就会将该消费者的offset删除。

解决方法：

1. 将当前已消费处理的数据的offset保存到数据库中，定时从数据库同步offset。
2. 设置offset提交超时时间，如果超过这个时间未提交offset，则自动将上一次已提交的offset再提交一次。
3. 修改offsets.retention.minutes的大小，一般改为7天即可。