读书笔记-kafka 基本概念

1. Producer：生产者，发送消息的一方。生产者负责创建消息，然后将其投递到Kafka中。
2. Consumer：消费者，也就是接收消息的一方。消费者连接到Kafka上并接收消息，进而进行相应的业务逻辑处理。
3. Broker：服务代理节点。

---

主题(topic): Kafka中的消息以主题为单位进行归类，生产者负责将消息发送到特定的主题（发送到Kafka集群中的每一条消息都要指定一个主题），而消费者负责订阅主题并进行消费。

分区（partition): 主题是一个逻辑上的概念，它还可以细分为多个分区，一个分区只属于单个主题，很多时候也会把分区称为主题分区（Topic-Partition)。同一个主题下的不同分区包含的消息是不同的，分区在存储层面可以看做一个可追加的日志（log）文件，消息在被追加到分区日志文件的时候都会分配一个特定的偏移量（offset）。kafka中的分区可以分布在不同的服务器（broker)上。也就是说，一个主题可以横跨多个broker。一次来提供比单个broker更强大的性能。

在创建主题的时候可以通过指定的参数来设置分区的 个数，可以在主题创建完成之后去修改分区的数量，通过增加分区的数量可以实现水平扩展。

偏移量（Offset）：offset是消息在分区中的唯一标识，Kafka通过它来保证消息在分区内的顺序性，不过offset并不跨越分区，也就是说，Kafk保证的是分区有序而不是主题有序。

副本（Replica)：kafka为分区引入了多副本（Replica）机制，通过增加副本数量可以提升容灾能力。同一分区的不同副本中保存的是相同的消息（在同一时刻，副本之间并非完全一样），副本之间“一主多从”的关系，其中leader副本负责处理读写请求，follower副本只负责与leader副本的消息同步。副本处于不同的broker中，当leader副本出现故障时，从follower副本中重新选举新的leader副本对外提供服务。Kafka通过多副本机制实现了故障的自动转移，当kafka集群中某个broker失效时仍然能保证服务可用。

---

AR（Assigned Replicas)：分区中的所有副本统称为AR。

ISR（In-Sync Replicas）：与leader副本保持一定程度（可忍受的滞后范围）同步的副本（包括leader副本在内）组成ISR，ISR集合是AR集合中的一个子集。消息会先发送到leader副本，然后follower副本才能从leader副本中拉取消息进行同步，同步期间内follower副本相对于leader副本而言会有一定程度的滞后。

OSR（Out-of-Sync Replicas): 与leader副本同步滞后过多的副本（不包括leader)组成

AR = ISR + OSR

正常情况下，所有的follower副本都应该与leader副本保持一定程度的同步，即AR = ISR，OSR集合为空。

leader副本负责维护和跟踪ISR集合中所有follower副本的滞后状态，当follower副本落后太多或失效时，leader副本会把它从ISR集合中剔除。如果OSR集合中有follower副本“追上”了leader副本，那么leader副本会把它从OSR集合转移至ISR集合。默认情况下，当leader副本发生故障是，只有在ISR集合中的副本才有资格被选举为新的leader，而在OSR集合中的副本则没有机会（不过这个原则也可以修改相应的参数配置来改变）。

---

HW（High Watermark）俗称高水位，它标识了一个特定的消息偏移量（offset），消费者只能拉取到这个offset之前的消息。

LEO（Log End Offset）它标识当前日志文件中下一条待写入消息的offset，LEO的大小相当于当前日志分区中最后一条消息的offset值加1。分区ISR集合中的每个副本都会维护自身的LEO，而ISR集合中最小的LEO即为分区的HW，对消费者而言只能消费HW之前的消息。