【无标题】

KAFKA基本概念

Kafka 几大概念

Topic（主题）

Kafka 中可将消息分类，每一类的消息称为一个 Topic，消费者可以对不同的 Topic 进行不同的处理。

Broker（代理）

每个 Broker 即一个 Kafka 服务实例，多个 Broker 构成一个 Kafka 集群，生产者发布的消息将保存在 Broker 中，消费者将从 Broker 中拉取消息进行消费。
Broker集群中，会有一个leader（controller leader），负责管理整个集群中分区和副本的状态和选举partition leader

Producer（生产者）

负责生产消息并发送给 Broker 。

Consumer（生产者）

负责消费 Broker 中 Topic 消息，每个 Consumer 实例归属于一个 Consumer Group 查看更多介绍

Topic-Partition（主题分区）

Partition 是 Kafka 中比较特色的部分，一个 Topic 可以分为多个 Partition，每个 Partition 是一个有序的队列，Partition 中的每条消息都存在一个有序的偏移量(Offest)，同一个 Consumer Group 中，只有一个 Consumer 实例可消费某个 Partition 的消息。
partion可以看作一个有序的队列，里面的数据是储存在硬盘中的，追加式的。partition的作用就是提供分布式的扩展，一个topic可以有许多partions，多个partition可以并行处理数据，所以可以处理相当量的数据。只有partition的leader才会进行读写操作，folower仅进行复制，客户端是感知不到的。

ISR 与 OSR (in sync replicas 和 out sync replicas)

leader会追踪和维护ISR中所有follower的滞后状态。如果滞后太多（时间滞后replica.lag.time.max.ms可配置），leader会把该replica从ISR中移除,放入out sync replicas中 。放入OSR的replica一直在追赶leader。如下图，leader写入数据后并不会commit，只有ISR列表中的所有folower同步之后才会commit，把滞后的follower移除ISR主要是避免写消息延迟。设置ISR主要是为了broker宕掉之后，重新选举partition的leader从ISR列表中选择。

HW （hight watermark）高水位线

消费者只能最多拉到高水位线的消息

LEO （Log end offset）日志偏移量

日志文件的最后一条记录的offset（偏移量）

ISR与HW和LEO有着密不可分的关系:

HW代表目前可以消费到的最高消息下标，如上图，LEO已经到9了，但是可以消费的消息只能到5

HW是由主从同步机制所产生的，上图左侧HW/LEO都到了2，现在有新的消息3和4加入地来，主队列LEO就会到4，但是HW还只会在2。

只有所有从队列都同步了3这条数据以后，HW才会到3，HW的策略是可以设置的，可以设置50%的机器同步到了3，HW就可以增加。