大数据-kafka学习（五）——消费者

目录

一、KAfka消费方式

1、pull（拉）模式：

2、push（推）模式：

二、消费者总体工作流程

 三、消费者组

​ 四、消费者组初始化流程

​ 五、消费者组详细消费流程

​

---

一、KAfka消费方式

1、pull（拉）模式：

consumer 采用从broker中主动拉取数据，

Kafka 采取这种方式

2、push（推）模式：

Kafka 没有采用这种方式，是因为由broker决定消费发生速率，很难适应所有消费者的消费速率。例如推送的速度是50m/sConsumer1、Consumer2就来不及处理消息。

Pull模式不足之处是，如果kafka没有数据，消费者可能陷入循环中，一直返回空数据。

二、消费者总体工作流程

 三、消费者组

Consumer Group （CG），消费者组，由多个consumer组成，形成一个消费者组的条件，是所有消费者的groupid相同。

• 消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费
• 消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。

• 如果向消费者组中添加更多的消费者，超过主题分区数量，则有一部分消费者会闲置，不会接收任何消息。
• 消费者组之间互不影响，所有的消费者都属于某个消费者组，即 消费者组是逻辑上的一个订阅者。

 四、消费者组初始化流程

coordinator:辅助实现消费组的初始化和分区的分配

coordinator节点选择=groupid的hashcode%50 (__consumer_offsets的分区数量)

例如：groupid的hashcode值=1,1%50=1,那么__consumer_offsets主题的1号分区，在哪个broker上，就选择这个节点的coordinator作为这个消费者组的老大。消费者组下的所有的消费者提交offset的时候就往这个分区去提交offset。

• 1）每个consumer都发送JoinGroup请求
• 2）选出一个consumer作为leader
• 3）把要消费的topic情况发送给leader消费者
• 4）leader会负责制定消费方案
• 5）把消费方案下发给各个consumer
• 6）Coordinator就把消费方案下发给各个consumer
• 7）每个消费者都会和coordinator保持心跳（默认3s），一旦超时（session.tomeout.ms=45s）,该消费者会被移除，并触发再平衡，或者消费者处理消息的时间过长（max.poll.interval.ms=5分钟）也会触发再平衡

 五、消费者组详细消费流程

FetchRecords从队列中抓取数据

• Fetch.min.bytes每批次最小抓取大小，默认1字节
• Fetch.max.wait.ms一批数据最小值未达到的超时时间，默认500ms
• Fetch.max.bytes每批次最大抓取大小，默认50m
• Max.poll.records一次拉取数据返回消息的最大条数，默认500条