一、kafka的存储机制
(1)存储机制:Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic的。
topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文件,该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该log 文件末端,且每条数据都有自己的 offset。消费者组中的每个消费者,都会实时记录自己消费到了哪个 offset,以便出错恢复时,从上次的位置继续消费。 数据存储示意图如下:
1、数据存储图解释解释:由于生产者生产的消息会不断追加到 log 文件末尾,为防止 log 文件过大导致数据定位效率低下,Kafka 采取了分片和索引机制,将每个 partition 分为多个 segment。每个 segment对应两个文件——“.index”文件和“.log”文件。这些文件位于一个文件夹下,该文件夹的命名规则为:topic 名称+分区序号。例如,first 这个 topic 有三个分区,则其对应的文件夹为 first-0,first-1,first-2。
2、index 和 log 文件以当前 segment 的第一条消息的 offset 命名。下图为 index 文件和 log 文件的结构示意图。其中 “.index”文件存储大量的索引信息,“.log”文件存储大量的数据,索引文件中的元 数据指向对应数据文件中 message 的物理偏移地址。
(2)分区策略
1、分区原因:
a、方便在集群中扩展,每个 Partition 可以通过调整以适应它所在的机器,而一个 topic又可以有多个 Partition 组成,因此整个集群就可以适应任意大小的数据了;
b、可以提高并发,因为可以以 Partition 为单位读写了。
2、分区器:首先需要将 producer 发送的数据封装成一个 ProducerRecord 对象。
a、若ProducerRecord对象指明 partition 的情况下,直接将指明的值直接作为 partiton 值;
b、没有指明 partition 值但有 key 的情况下,将 key 的 hash 值与 topic 的 partition 数进行取模得到 partition 值;
c、既没有 partition 值又没有 key 值的情况下,第一次调用时随机生成一个整数(后面每次调用在这个整数上自增),将这个值与 topic 可用的 partition 总数取余得到 partition 值,也就是常说的 round-robin 算法。
(3)数据的可靠性保证即kafka的ACK机制
为保证 producer 发送的数据,能可靠的发送到指定的 topic,topic 的每个 partition 收到producer 发送的数据后,都需要向 producer 发送 ack(acknowledgement 确认收到),如果producer 收到 ack,就会进行下一轮的发送,否则重新发送数据。
1、kafka何时发送ack确认给生产者已确定收到数据:确保有follower与leader同步完成,leader再发送ack,这样才能保证leader挂掉后,能在follower选举出新的leader。
2、副本同步策略即多少个follower同步完成后发送ack:全部follower完成同步,才发送ack;优点:选举新的 leader 时,容忍 n 台节点的故障,需要 n+1 个副本,缺点:延迟高
(4)ISR同步策略:
1、引入ISR的原因:采用全部follower完成同步才发送ack;当leader收到数据,所有 follower 都开始同步数据,但有一个 followerÿ