记用 SpringBoot 消费 Kafka 过程中的一次问题排查

1、现象

最近在接受公司Kafka的集群，之前公司重启一台服务器的时候出现重复消费的情况，所以就跟消费端的服务一起联调查册。消费端目前有两个服务，但是在测试的过程中发现其中一个服务可以接受到数据，但是另一个服务端却接受不到数据。于是查看了一下它的日志，关键日志如下：

[INFO] org.apache.kafka.clients.consumer.internals.AbstractCoordinator - Successfully joined group group-id-test with generation 81
[INFO] org.apache.kafka.clients.consumer.internals.ConsumerCoordinator - Setting newly assigned partitions [] for group group-id-test

根据日志发现，完全没有 partition 分配给我们去消费。。。
而且每次启动的情况不一样，有事有分配到，有时没有分配到。。

---

2、分析

因为 topic 的 partition对于consumer的分配会随着 partition数量的变化 和 相同 groupId 的 consumer 的变化而 动态分配，所以我猜测在另一台机器上已经有一个相同 groupId 的程序在消费着同一个 topic。
注：我这里比较特殊，这个 topic 的 partition 为 1，Kafka 的版本为 0.10.2.0。

---

3、探索

可以通过 Kafka 提供的工具来查看该 groupId 对应的消费情况，具体命令如下：

##纯手打。。
bin/kafka-consumer-groups.sh --bootstrap-server XXX:9092 --group your-group-id --describe

就可以看到该 group-id 对应的消费的情况
我发现 我消费的 topic 这一行中的 hostId 有值，且不是本地的IP！
（由于是在内网，所以就没有截图了）

所以我的分析是对的

---

你也可以通过代码测试一下，启动两个程序用相同的groupID去消费同一个topic，你会发现每次 consumer 端启动或者停止的时候，partition 都会 重新分配给 consumer。。