kafka broker详解

 broker总体工作流程图

副本机制

• 副本作用提高数据可靠性。
• Kafka 默认副本 1 个，生产环境一般配置为 2 个，保证数据可靠性；过多副本会增加磁盘存储空间，增加网络上数据传输，降低效率。
• Kafka 中副本分为：Leader 和 Follower。Kafka 生产者只会把数据发往 Leader，然后 Follower 找 Leader 进行同步数据。
• Kafka 分区中的所有副本统称为 AR（Assigned Repllicas）。AR = ISR + OSR   ISR，表示和 Leader 保持同步的 Follower 集合。如果 Follower 长时间未向 Leader 发送 通信请求或同步数据，则该 Follower 将被踢出 ISR。该时间阈值由 replica.lag.time.max.ms
  参数设定，默认 30s。Leader 发生故障之后，就会从 ISR中选举新的 Leader。
  OSR ，表示 Follower 与 Leader副本同步时，延迟过多的副本。

leader选举过程

 
副本同步机制

• LEO࿰