问题:
1、线上IM头等仓读取不出来,经过排查,发现是kafka消费出现了问题
2、目前使用的版本 kafka_2.11-0.9.0.1
3、核心参数: Topic 设置了30个Partition,消费组设置了10个线程
4、故障表象为:消费组中有3个Partition卡住不消费了,如图:
5、继续排查kafka borken是否正常,查询线上5台kafka的日志,发现有错误日志
6、发现有数组下标越界的情况,查阅了一下官方,发现这是一个在 kafka_2.11-0.9.0.1 这个版本里一个已知问题,预计在0.10 .0.0 修复
https://issues.apache.org/jira/browse/KAFKA-3593
7、2017-09-08 升级 kafka版本到 kafka_2.11-0.10.0.0 解决了这个问题,kafka不报数组下标越界了
总结:此问题不是必现问题,在某种场景下可复现,后续需要继续关注该问题