Kafka如何防止消息丢失

1. 持久化存储：
   • Kafka 使用基于日志的存储模型。每个主题的分区都会被分割成多个片段（Segment），每个片段都是一个可追加的日志文件。
   • 生产者发送的每条消息都会被追加到对应分区的当前活跃片段（active segment）中。
   • 这种设计保证了消息在写入时是持久化的，即使在写入过程中发生故障，已经写入的消息也不会丢失。
2. 副本机制：
   • Kafka 使用副本来提高消息的可靠性和持久性。每个主题的分区可以配置多个副本，每个副本分布在不同的 Broker 上。
   • 每个分区都有一个 Leader 副本（Leader Replica）和多个 Follower 副本（Follower Replica）。
   • 生产者发送消息到 Leader 副本，然后 Leader 副本负责将消息复制到所有的 Follower 副本。
   • 如果 Leader 副本故障，Kafka 会从 Follower 副本中选举新的 Leader，确保分区的可用性和消息的持久性。
3. 确认机制：
   • Kafka 允许生产者配置消息的确认机制，以控制消息发送的可靠性和延迟：
     • acks=0：生产者发送消息后不等待任何确认，直接发送下一条消息。这种模式下消息丢失的风险较高，因为生产者不会知道消息是否成功接收。
     • acks=1：Leader 副本收到消息后会向生产者发送确认，生产者认为消息已经成功发送。
     • acks=all（或 acks=-1）：Leader 和所有的 ISR（In-Sync Replicas，同步副本）都确认接收到消息后，生产者认为消息已经成功发送。
   • 较高的确认级别可以减少消息丢失的风险，但会增加延迟，因为需要等待多个副本的确认。
4. ISR（In-Sync Replicas）机制：
   • Kafka 使用 ISR 机制来处理副本的复制问题。
   • ISR 是一组与 Leader 副本保持同步的副本集合。只有在 ISR 中的副本才会被用来进行消息的读写操作。
   • 如果某个副本由于网络延迟或其他问题无法及时追赶 Leader 副本的进度，它将被移出 ISR，从而避免读取不一致的数据。
   • 这种机制确保了即使一些副本出现问题，仍然可以继续向客户端提供一致的数据。