kafka丢不丢数据

我们无法保证 Kafka 消息不丢失，只能保证某种程度下，消息不丢失。

从严重程度依次为：Kafka 宕机、服务器宕机、机房地震、城市毁灭、地球毁灭。

如果是金融类型或者国民级别的应用，那么需要考虑机房地震以上级别的可靠性级别，否则一般考虑到服务器宕机这个维度就可以了。对于机房地震级别以上的情况，大多数都是需要做异地多活，然后做好各地机房数据的实时同步。

 Kafka 来说，其整体架构可以分为生产者、Kafka 服务器、消费者三大块

对生产者来说，其发送消息到 Kafka 服务器的过程可能会发生网络波动，导致消息丢失。对于这一个可能存在的风险，我们可以通过合理设置 Kafka 客户端的request.required.acks参数来避免消息丢失。该参数表示生产者需要接收来自服务端的 ack 确认，当收不到确认或者超市时，便会抛出异常，从而让生产者可以进一步进行处理。

• request.required.acks = 0 表示 Producer 不等待来自 Leader 的 ACK 确认，直接发送下一条消息。在这种情况下，如果 Leader 分片所在服务器发生宕机，那么这些已经发送的数据会丢失。
• request.required.acks = 1 表示 Producer 等待来自 Leader 的 ACK 确认，当收到确认后才发送下一条消息。在这种情况下，消息一定会被写入到 Leader 服务器，但并不保证 Follow 节点已经同步完成。所以如果在消息已经被写入 Leader 分片，但是还未同步到 Follower 节点，此时Leader