kafka消息消费原理演示

在实际生产过程中，每个topic都会有多个partitions，多个partitions的好处在于，一方面能够对broker上的数据进行分片有效减少了消息的容量从而提升io性能。另外一方面，为了提高消费端的消费能力，一般会通过多个consumer去消费同一个topic ，也就是消费端的负载均衡机制，也就是我们接下来要了解的，在多个partition以及多个consumer的情况下，消费者是如何消费消息的

同时，在上一节课，我们讲了，kafka存在consumer group的概念，也就是group.id一样的consumer，这些consumer属于一个consumer group，组内的所有消费者协调在一起来消费订阅主题的所有分区。当然每一个分区只能由同一个消费组内的consumer来消费，那么同一个onsumer
group里面的consumer是怎么去分配该消费哪个分区里的数据的呢？如下图所示，3个分区，3个消费者，那么哪个消费者消分哪个分区？

对于上面这个图来说，这3个消费者会分别消费test这个topic 的3个分区，也就是每个consumer消费一个partition。

代码演示（3个partiton对应3个consumer）

Ø 创建一个带3个分区的topic

Ø 启动3个消费者消费同一个topic，并且这3个consumer属于同一个组

Ø 启动发送者进行消息发送

演示结果：consumer1会消费partition0分区、consumer2会消费partition1分区、consumer3会消费partition2分区

如果是2个consumer消费3个partition呢？会是怎么样的结果？