一 kafka消费者
1.1 kafka消费的方式
consumer
采用从
broker
中主动拉取数据。
Kafka采用这种方式。
pull
模式不足之处是,如 果
Kafka
没有数 据,消费者可能会陷入循环中,一直返回 空数据。
不采用
push(推)模式是因为:
Kafka
没有采用这种方式,因为由
broker
决定消息发送速率,很难适应所有消费者的 消费速率。例如推送的速度是50m/s,Consumer1、Consumer2就来不及处理消息。
1.2 Kafka 消费者总体工作流程
1.3 消费者组的概念
Consumer Group(CG):消费者组,由多个consumer组成。形成一个消费者组的条件,是所有消费者的groupid相同。
1.消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个组内消费者消费。
2.消费者组之间互不影响。所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者。
3.如果向消费组中添加更多的消费者,
超过 主题分区数量,则有一部分消费者就会闲 置,不会接收任何消息。