kafka消费者报错INVALID_FETCH_SESSION_EPOCH

完整报错

[2019-09-11T12:09:49,735][INFO ][org.apache.kafka.clients.FetchSessionHandler] [Consumer clientId=logstash2es-consumer-1, groupId=logstash2es-consumer] Node 4 was unable to process the fetch request with (sessionId=918850189, epoch=6084): INVALID_FETCH_SESSION_EPOCH.
报错时，消费速率大大的减慢。

问题原因

kafka的segement是可以滚动的，比如配置了
“log.roll.hours”: 24
那么每24小时就会滚动一次
或者配置了
“log.retention.hours”: 48
48小时以前的就会被删除

每次kafka滚动或者删除时消费者就会报这个错

解决问题

这是一个kafka的bug，在高版本修复
2.0.0及之前的版本有问题，升级到2.0.4之后解决了这个问题。
升级后虽然会继续报错，但不会影响任何东西。