详解 Kafka 集群核心组件之协调器

点击上方 "程序员小乐"关注, 星标或置顶一起成长

每天凌晨00点00分, 第一时间与你相约

每日英文

Rain falls because the clouds can no longer handle it's weight; just like tears fall, because the heart just cannot handle the pain.

雨水落下来是因为天空无法承受它的重量，眼泪掉下来是因为心再也无法承受那样的伤痛。

每日掏心话

不要知道得太多，会难过。其实每一种安静的瞬间那都是不一样的，但是如果你仔细听，它们都是很美好的。

来自：CoderJed | 责编：乐乐

链接：jianshu.com/p/f01f5f0309a9

程序员小乐(ID:study_tech)第 735 次推文   图片来自网络

往日回顾：2020年，总结10条经验，别再妄想管理时间了！

   正文   

1. 消费者与消费者组

首先简单了解一下消费者和消费者组：

假设某 topic 有4个分区，消费者组中只有一个消费者，那么这个消费者将消费全部 partition 中的数据。

如果消费者组中有两个消费者，那么每个消费者消费两个 partition。

如果消费者组中有4个消费者，那么每个消费者消费一个partition。

如果消费者组中有5个消费者，那么有一个消费者就是空闲的。

注意：在同一个消费者组中，不要让消费者的数量大于分区的数量

多个消费者组之间不会互相影响。

那么消费者和消费者组的运行机制是什么样的？它们是怎么通信的？这些都要依赖于本文所探讨的协调器。

2. 协调器

在 kafka-0.10 版本，Kafka 在服务端引入了组协调器(GroupCoordinator)