Producer
生产者即数据的发布者,该角色将消息发布到Kafka的topic中。broker接收到生产者发送的消息后,broker将该消息追加到当前用于追加数据的segment文件中。生产者发送的消息,存储到一个partition中,生产者也可以指定数据存储的partition。
Consumer
消费者可以从broker中读取数据。消费者可以消费多个topic中的数据。
Topic
在Kafka中,使用一个类别属性来划分数据的所属类。划分数据的这个类称为topic。如果把Kafka看做为一个数据库,topic可以理解为数据库中的一张表。topic的名字即为表名。
Partition
topic中的数据分割为一个或多个partition。每个topic至少有一个partition。每个partition中的数据使用多个segment文件存储。partition中的数据是有序的。partition间的数据丢失了数据的顺序。如果topic有多个partition。消费数据时就不能保证数据的顺序。在需要严格保证消息的消费顺序的场景下,需要将partition数目设为1.
Partition Offset
每条消息都有一个当前Partition下唯一的64字节的offset。它指明了这条消息的起始位置。
Replicas of partition
副本是一个分区的备份。副本不会被消费者消费,副本只用于防止数据丢失。即消费者不从为follower的partition中消费数据,而是从为leader的partition中读取数据。副本之间是一主多从的关系。
Broker
Kafka集群包含一个或者多个服务器,服务器节点称为broker。broker存储topic的数据。如果某个topic有N个partition,集群有N个broker,那么每个broker存储该topic 的一个partition。如果topic有N个partition,集群有N+M个broker,那么其中有N个broker存储该topic的一个partition,剩下的M个broker不存储该topic的partition数据。如果topic有N个partition,集群broker数量小于N个,那么一个broker存储该topic的一个或多个partition。在实际生产场景中,尽量避免这种情况的发生,这种情况容易导致Kafka集群数据不均衡。
Leader
每个partition有多个副本,其中有且只有一个作为leader,leader是当前负责数据的读写的partition。
Follower
Follower跟随leader,所有写请求都通过leader路由,数据变更会广播给所有follower,follower与leader保持数据同步,如果leader失效,刚从follower中选举出一个新的leader。当follower与leader挂掉、卡住或者同步太慢,leader会把这个follower从ISR列表中删除,重新创建一个follower。
ZooKeeper
zookeeper负责维护和协调broker。当Kafka系统中新增了broker或者某个broker发生故障失效时,由zookeeper通知生产者和消费者。生产者和消费者依据zookeeper的broker状态信息与broker协调数据的发布和订阅任务。
AR(Assigned Replicas)
分区中所有的副本统称为AR。
ISR(In-Sync Replicas)
所有与leader部分保持一定同步的副本组成ISR。
OSR(Out-of-Sync-Replicas)
与leader副本同步滞后过多的副本。
HW(High Watermark)
高水位,标识了一个特定的offset。消费者只能拉取到这个offset之前的消息。
LEO(Log End Offset)
即日志末端位移,记录了该副本底层日志中下一条消息的位移值。注意是下一条消息。也就是说,如果LEO=10,那么表示该副本保持了10条消息,位移值范围是[0,9]。