小玩kafka之消息重复消费的实验

实验一：开多个consumer终端，是同一个consumer group吗？

./bin/windows/kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

 

开2个终端，显示消费了同样的信息，说明2个consumer属于不同的consumer group

输入group list验证下，存在多个group，每个终端属于不同的group。

--> ./bin/windows/kafka-consumer-groups.bat --list --bootstrap-server localhost:9092
console-consumer-25516
test-consumer-group
console-consumer-89825

如下带上 --group 参数，即指定了2个consumer属于同一group，属于同一group后会发生什么？

$ ./bin/windows/kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning --group test-consumer-group

这一次，只有一个终端在消费消息。

如果关掉了正在消费信息的consumer（相当于此consumer发生了宕机），另一个consumer才开始消费消息

结论：kafka中消息只能被同一consumer-group中的一个consumer消费。

实验二：如何重现重复消费

重复消费，很多时候是和 enable.auto.commit 这个参数相关的

消费消息后，默认会自动提交，这里在consumer.properties文件的末尾，添加2个参数，

max.poll.interval.ms=100000
enable.auto.commit=false

打开2个consumer终端，第1个终端消费完成后，shutdown，第2个终端居然又消费了一次，造成了重复消费。

--> cd config

--> ../bin/windows/kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning --consumer.config consumer.properties

此时，需要手动commit，才可以不再重复消费。