Kafka深入----Consumer

最新推荐文章于 2024-08-02 15:49:10 发布

13床秃头患者

最新推荐文章于 2024-08-02 15:49:10 发布

阅读量160

点赞数

分类专栏： # Kafka 文章标签： kafka big data 分布式

本文链接：https://blog.csdn.net/qq_25084029/article/details/120958778

版权

Kafka 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

本文深入探讨了Kafka消费者的消费方式，重点讲解了拉取（Pull）模式及其在数据为空时的处理，通过设置超时时间避免空循环。此外，介绍了分区分配策略，包括RoundRobin和Range策略，确保数据均衡消费。同时，详细阐述了Kafka中消费者如何维护和管理Offset，以及从0.9版本开始消费者如何将Offset存储在内置topic中，并提供了不同版本下查看Offset的命令。

摘要由CSDN通过智能技术生成

Kafka深入----消费者

消费方式

拉取模式

从broker中读取数据（pull模式）
pull模式中的不足，如果kafka中没有数据时，消费者就会陷入循环中，一直返回空数据
故Kafka的消费者在消费数据时会传入一个==时长参数（timeout）==如果当前没有数据可以消费，则消费者一段时间后返回，时长即为timeout

分区分配策略

RoundRobin(轮询)

保证消费者组内订阅的数据都是同一个Topic主题的数据
Range(范围)

调用分区策略的选择
当启动消费者的时候就会调用分区策略
当分区的个数发生变化时，则就会调用分区调用的策略

Offset维护

(group+topic+partition)
offset 通过consumer实时记载来定位到发生故障时消费到哪个offset
Kafka 0.9 版本之前，consumer 默认将 offset 保存在 Zookeeper 中，从 0.9 版本开始，
consumer 默认将 offset 保存在 Kafka 一个内置的 topic 中，该 topic 为__consumer_offsets。
需要配置文件

consumer.properties中的

exclude.internal.topics=false

读取offset
0.11版本之前

bin/kafka-console-consumer.sh --topic __consumer_offsets --
zookeeper master:2181 --formatter 
"kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter" 
--consumer.config config/consumer.properties --from-beginning

0.11版本之后

bin/kafka-console-consumer.sh --topic __consumer_offsets --
zookeeper master:2181 --formatter 
"kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageForm
atter" --consumer.config config/consumer.properties --frombeginning