KAFKA基本概念
Kafka 几大概念
Topic(主题)
Kafka 中可将消息分类,每一类的消息称为一个 Topic,消费者可以对不同的 Topic 进行不同的处理。
Broker(代理)
每个 Broker 即一个 Kafka 服务实例,多个 Broker 构成一个 Kafka 集群,生产者发布的消息将保存在 Broker 中,消费者将从 Broker 中拉取消息进行消费。
Broker集群中,会有一个leader(controller leader),负责管理整个集群中分区和副本的状态和选举partition leader
Producer(生产者)
负责生产消息并发送给 Broker 。
Consumer(生产者)
负责消费 Broker 中 Topic 消息,每个 Consumer 实例归属于一个 Consumer Group 查看更多介绍
Topic-Partition(主题分区)
Partition 是 Kafka 中比较特色的部分,一个 Topic 可以分为多个 Partition,每个 Partition 是一个有序的队列,Partition 中的每条消息都存在一个有序的偏移量(Offest),同一个 Consumer Group 中,只有一个 Consumer 实例可消费某个 Partition 的消息。
partion可以看作一个有序的队列,里面的数据是储存在硬盘中的,追加式的。partition的作用就是提供分布式的扩展,一个topic可以有许多partions,多个partition可以并行处理数据,所以可以处理相当量的数据。只有partition的leader才会进行读写操作,folower仅进行复制,客户端是感知不到的。
ISR 与 OSR (in sync replicas 和 out sync replicas)
leader会追踪和维护ISR中所有follower的滞后状态。如果滞后太多(时间滞后replica.lag.time.max.ms可配置),leader会把该replica从ISR中移除,放入out sync replicas中 。放入OSR的replica一直在追赶leader。如下图,leader写入数据后并不会commit,只有ISR列表中的所有folower同步之后才会commit,把滞后的follower移除ISR主要是避免写消息延迟。设置ISR主要是为了broker宕掉之后,重新选举partition的leader从ISR列表中选择。
HW (hight watermark)高水位线
消费者只能最多拉到高水位线的消息
LEO (Log end offset)日志偏移量
日志文件的最后一条记录的offset(偏移量)
ISR与HW和LEO有着密不可分的关系:
HW代表目前可以消费到的最高消息下标,如上图,LEO已经到9了,但是可以消费的消息只能到5
HW是由主从同步机制所产生的,上图左侧HW/LEO都到了2,现在有新的消息3和4加入地来,主队列LEO就会到4,但是HW还只会在2。
只有所有从队列都同步了3这条数据以后,HW才会到3,HW的策略是可以设置的,可以设置50%的机器同步到了3,HW就可以增加。