Kafka:Consumer消费数据流程

weixin_43563705

于 2020-03-20 16:28:39 发布

阅读量4.3k

点赞数 1

分类专栏： # Kafka

本文链接：https://blog.csdn.net/weixin_43563705/article/details/104992966

版权

本文详细解析了Kafka消费者消费数据的流程，包括连接指定的TopicPartition所在leaderbroker，采用pull方式从kafkalogs中获取信息的过程。同时对比了高阶API与低阶API的不同，高阶API封装了Consumer与Broker细节，而低阶API则提供了更灵活的自定义选项。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Consumer消费数据流程

在这里插入图片描述
流程描述
Consumer连接指定的Topic partition所在leader broker，采用pull方式从kafkalogs中获取消息。对于不同的消费模式，会将offset保存在不同的地方
官网关于high level API 以及low level API的简介
http://kafka.apache.org/0100/documentation.html#impl_consumer

高阶API（High Level API）

kafka消费者高阶API简单；隐藏Consumer与Broker细节；相关信息保存在zookeeper中。

/* create a connection to the cluster */
ConsumerConnector connector = Consumer.create(consumerConfig);

最低0.47元/天解锁文章