Kafka 核心概念

1 Producer

生产者创建消息。

该角色将消息发布到 Kafka 的 topic 中。broker 接收到生产者发生的消息后，broker 将该消息追加到当前用于追加数据的 segment 文件中。

通常情况下，在生成消息时我们都会指定将消息发布到哪个主题上，如果没有指定主题，消息会被发送到一个默认的主题上。

消息分区规则：

• 默认消息分区器如果在发布消息的时候指定了分区的话，消息会被路由到指定的分区上；
• 默认消息分区器如果没有指定分区，指定了消息的键，则对消息键进行散列，对散列值和当前分区数进行取余，然后将消息发布到指定的分区上。通过消息键可以保证包含统一键的消息会被写到同一个分区上；
• 默认消息分区器如果没有指定分区，也没有指定消息键则会按照轮询的方式把消息均衡地分布到主体的所有分区上；
• 可以自定义 Kafka 客户端的消息分区器，根据不同的业务规则将消息映射到分区。

2 Consumer

• 消费者订阅一个或多个主题，并按照消息生成的顺序读取它们；
• 消费者通过检查消息的偏移量来区分已经读取的过的消息。偏移量是另一种元数据，它是一个不断递增的整数值，在创建消息时，Kafka 会把它添加到消息里。在给定的分区里，对于每个消费组消息的偏移量都是唯一的。消费者把每个分区最后读取的消息偏移量保存在 Zookeeper 或 Kafka 上，如果消费者关闭或重启，它的读取状态不会丢失。
• 消费者是消费者的一部分。群组保证每个分区只能被一个消费者使用；
• 如果一个消费者失效，消费组里的其他消费者可以接管失效消费者的工作，再平衡，分区重新分配。

3 broker

一个独立的 Kafka 服务器被称为 broker。

broker 为消费者提供服务，对读取分区的请求作出响应，返回已经提交到磁盘的消息。

• 如果某 topic 有 N 个 partition，集群有 N 个 broker，那么每个 broker 存储该 topic 的一个 partition。
• 如果某个 topic 有 N 个 partition，集群有 （N+M）个 broker，那么其中有 N 个 broker 存储该 topic 的一个 partition，剩下的 M 个 broker 不存储该 topic 的 partition 数据，
• 如果某个 topic 有 N 个 partition，集群中broker 数目少于 N个，那么一个 broker 存储该 topic 的一个或多个 partition。在实际生产环境中，尽量避免这种情况的发生，这种情况容易导致 Kafka 集群数据不均衡。

broker 是集群的组成部分。每个集群都有一个 broker 同时充当了集群控制器的角色（自动从集群的活跃成员中选举出来，通过 zookeeper 分布式锁实现），主要负责管理工作，包括分区分配给 broker 和监控 broker。

在集群中，一个分区从属于一个 broker，该 broker 被称为分区的首领。

4 Topic

每条发布到 Kafka 集群的消息都有一个类别，这个类别被称为 Topic；
物理上不同的 Topic 的消息分开存储；
主题就好比数据库的表，尤其是分库分表之后的逻辑表。

5 Partition

• 主题可以被分为若干个分区，一个分区就是要给提交日志；
• 消息以追加的方式写入分区，然后以先入先出的顺序读取；
• 无法在整个主题范围保证消息的顺序，但可以保证消息在单个分区内的顺序；
• Kafka 通过分区来实现数据冗余和伸缩性；
• 在需要严格保证消息的消费顺序的场景下，需要将 Partition 数目设为1；

6 Replicas

Kafka 使用主题来组织数据，每个主题被分为若干个分区，每个分区有多个副本，那些副本被保存在 broker 上，每个 broker 可以保存成百上千个属于不同主题的和分区的副本。

副本有以下两种类型：

• 首领副本：每个分区都有一个首领副本，为保证一致性，所有生产者请求和消费者请求都会经过这副本；
• 跟随者副本：首领以外的副本都是跟随者副本。跟随者副本不处理来自客户端的请求，他们唯一的任务就是从首领那里复制消息，保持与首领一致的状态。如果首领发生崩溃，其中的一个跟随者会被提升为新首领。

7 Offset

7.1 生产者 offset

消息写入的时候，每一个分区都有一个 offset，这个 offset 就是生产者的 offset，同时也是这个分区的最新最大的 offset。

7.2 消费者偏移量

消费者偏移量保证了消息的正常消费。
通过一个主题的一个分区为每个消费组维护一个偏移量。

8 副本

Kafka 通过副本保证高可用。副本分为首领副本和跟随者副本。

跟随者副本包括同步副本和不同步副本，在发生首领副本切换的时候，只有同步副本可以切换为首领副本。

8.1 AR

分区中的所有副本统称为 AR（Assigned Replicas）。
AR=ISR+SOR

8.2 ISR

所有与 leander 副本保持一定程度同步的副本（不包括 leander）组成 ISR（In-Sync Replicas），ISR 集合是 AR 集合中的一个子集。消息会先发送到 leader 副本，然后 follower 副本才能从 leader 副本中拉取消息进行同步，同步期间内 follower 副本相对于 leader 副本而言会有一定程度的滞后。前面所说的一定程度是指可以忍受的滞后范围，这个范围可以通过参数进行配置。

8.3OSR

与 leader 副本同步滞后过多的副本组成 OSR（Out-Sync Replicas）。在正常情况下，所有的 follower 副本都应该与 leader 副本保持一定程度的同步，即 AR=ISR，OSR 集合为空。

8.4 HW

HW 是High Watermak 的缩写，俗称高水位，它表示了一个特定消息的偏移量，消费者只能拉去到这个 offset 之前的 消息。

LEO

LEO 是 Log End Offset 的缩写，他表示了当前日志文件中下一条待写入消息的 offset。

全文引用整理于拉钩高新