kafka-zookeper-02[kafka架构-生产使用kafka]

生产使用

1.kafak工作流程与文件存储

1.1 副本数为leader+follower数 且对应分区的follower在集群其它主机[不会再本机]

1.2 分区数==消费组内消费者数量

1.3消息生产在集群分区中有先后、不同步

1.4 topic是逻辑上的概念，partition是物理存储实际存在的log数据文件

1.5 kafka log数据存储的特点

index文件存储消息偏移量，log文件存储消息数据的序列化后内容

1.6kafka消息数据data读写机制【索引+分片】

index文件中存储消息的偏移量+消息起始便宜量+消息内容大小 用于快速定位Message位置

2.kafak生产者策略

2.1生产时通过API调用，可以指定分区发送topic 或指定key发送，通过轮询的方式发送

2.2数据可靠性保证

为保证 producer 发送的数据，能可靠的发送到指定的 topic，topic 的每个 partition 收到
producer 发送的数据后，都需要向 producer 发送 ack（acknowledgement 确认收到），如果
producer 收到 ack，就会进行下一轮的发送，否则重新发送数据。

2.3 kafka通过全部副本数据同步+ISR方式保障 消息可靠

副本全部完成同步，才发送ack确认
优点：选举新的 leader 时，容忍 n 台节点的故障，需要 n+1 个副本
缺点：延迟高

ISR通过leader与follower之间通讯延迟 来确保副本数据同步效率
通过时间阈值 replica.lag.time.max.ms 参数设定 。
如果 follower长时间未向leader同步数据，则该 follower将被踢出ISR。
Leader 发生故障之后，就会从 ISR 中选举新的 leader。

2.4 ack 应答机制

通过acks参数，配置消息丢失的可能性

1. acks=0 producer 不等待 broker 的 ack，这一操作提供了一个最低的延迟，broker 一接收到还
   没有写入磁盘就已经返回，当 broker 故障时有可能丢失数据；

acks=0 可以保证生产者每条消息只会被发送一次，即 At Most Once 语义  至多一次【可能丢失数据】

2. acks=1 producer 等待 broker 的 ack，partition 的 leader 落盘成功后返回 ack，如果在 follower
   同步成功之前 leader 故障，那么将会丢失数据;

3. acks=-1[ALL] producer 等待 broker 的 ack，partition 的 leader 和 follower 全部落盘成功后才
   返回 ack。但是如果在 follower 同步完成后，broker 发送 ack 之前，leader 发生故障，那么会
   造成数据重复。

可以保证 Producer 到 Server 之间不会丢失数据，即 AtLeast Once 语义。【可能数据重复】

4. 幂等性 精准一次性消费 通过acks=-1+数据去重 实现

只需要将 Producer 的参数中 enable.idompotence 设置为 true 即可
Broker 端会对<PID, Partition, SeqNumber>做缓存 PID 生产者Id  Partition对应分区 SeqNumber序列化号 
只要生产者不重启，PID不变，即可保证精准一次性

2.5 故障处理细节【HW 高水位保障 生产和消费数据一致性处理】

通过高水位和分区最大偏移量控制

LEO：指的是每个副本最大的 offset；
HW：指的是消费者能见到的最大的 offset，ISR 队列中最小的 LEO。

消费者可见一致性控制：消费者仅可见分区中高水位的HW之前的消息
生产者一致性控制：leader或follower故障，均会将故障机踢出ISR，其余人统一将高于HW的信息截肢，重新获取数据。