kafka 拉取的数据排序_一场再平衡引发的“血案”：从再平衡出发解读 Kafka 消费者源码...

最近在维护一个 Kafka 消息转发的项目，这个项目的主要目的是将不同的上游数据源统一成 Kafka 消息源供下游处理。但是这个项目最近出现了一个问题：Kafka 在消费一段时间之后，同步提交消费位移的时候总会报下面这个错，报错之后，消费端的消费线程就再也不会执行，导致 Kafka 消费端无法接着进行消费。

[2020-03-10 11:57:58.015] [ERROR] kafka201-consumer-0: [[Consumer clientId=consumer-1, groupId=test] Offset commit failed on partition test-topic-1 at offset 0: The coordinator is not aware of this member.] org.apache.kafka.clients.consumer.internals.ConsumerCoordinator$OffsetCommitResponseHandler.handle(ConsumerCoordinator.java:843)

面对这样的问题，我们应该如何解决呢？

1 一场再均衡引发的“血案”

首先，我们应该看看报错的代码(示例代码，并非项目本身代码)，如下所示(Kafka 客户端版本为 2.0.1)：

上述代码的核心逻辑在 run()方法之中，其主要流程是：消费者首先在订阅的主题中拉取消息，然后再处理消息，最后同步提交消费位移。那么为什么同步提交位移的时候会出现上述的错误呢？根据错误提示，我们进入 ConsumerCoordinator 类中，发现这个错误出现在了 ConsumerCoordinator 的内部类 OffsetCommitResponseHandler 的 handle() 方法中，说明是在 ConsumerNetworkClient 对象进行位移提交时出错了。根据错误提示，我们可以知道，Broker 端协调者找不到这个消费者实例了，也就是说，这个消费者实例已经离开其所属的消费者组了。

那么问题来了，是什么导致这个消费者实例离开消费者组呢？

经过排查发现，由于其他消费者实例的加入，消费者组发生了再平衡。然而，此消费者实例在再平衡之前，需要将其心跳线程 disable，然后发送入组请求。如果成功入组，则会将心跳线程重启；反之，若入组失败，则心跳线程会接着处于 disable 状态，无法发送心跳给协调者。

在出错代码中，由于 poll() 方法的超时参