一次kafka集群重启引发的线上问题

1. 背景

在某次运维发现线上的kafka server集群的默认配置的size太小，不能满足业务发送数据的要求，导致业务阻塞，于是，更改了kafka server的某项参数的size大小之后，并重启了线上kafka server集群。
在重启集群之后，线上实时业务消费kafka topic的消费者开始报错，在消费端的错误信息为：

1. 消费方的error错误信息为：

"Container exception":
org.apache.kafka.common.errors.TimeoutException: Timeout of 6000ms expected expired before successfully committing offsets{orders-5=OffsetAndMetadata{offset=197572354, leaderEpoch=null, metadata=''}}

2. 查看error错误信息的上下文，发现有相应的warn日志：

[Consumer clientId=consumer-25, groupId=orderconsumer-my-consumer] Offset commit failed on partition order-3 at offset 197449610: The coordinator is loading and hence can't process requests.

3. 另外 kafka server在重启的过程中也打印了相应的启动的日志，大致是__consumer_offset这个topic正在loading相关的数据。