kafka多个消费者消费一个topic_Kafka 独立消费者

以前我们讨论的消费组，都是 group 的形式，group 可以自动地帮助消费者分配分区，且在发生异常时，还能自定地进行重平衡(Rebalance)。正常来说，group 帮助用户实现自动监听分区消费，但是在用户需要指定分区进行精确消费的场景下，由于 group 的重平衡机制，会打破这种消费方式，这不前段时间某项目就有个需求是这样的：

消息源端有若干个，每个消息源都会产生不同的消息，目标端也有若干个，每个目标端需要消费指定的消息源类型。

在以往，由于消费组的重平衡机制会打乱这种消费方式，只能申请多个主题对消息进行隔离，每个消息源将消息发送到指定主题，目标端监听指定的主题。这么做肯定没有指定分区消费这么优雅了，每增加一种消息源，都需要新增一个 topic，且消费粒度不能灵活组合。

针对以上问题，Kafka 的提供了独立消费者模式，可以消费者可以指定分区进行消费，如果只用一个 topic，每个消息源启动一个生产者，分别发往不同的分区，消费者指定消费相关的分区即可，用如下图所示：

但是 Kafka 独立消费者也有它的限定场