flink 卡夫卡_卡夫卡–一次语义学

flink 卡夫卡

在分布式环境中，故障是很常见的情况，可以随时发生。 在Kafka环境中，代理可能崩溃，网络故障，处理故障，发布消息时失败或无法使用消息等。这些不同的场景引入了不同类型的数据丢失和重复。

失败场景

A（确认失败）：生产者成功发布了消息，重试> 1，但由于失败而未收到确认。 在这种情况下，生产者将重试相同的消息，可能会引入重复消息。

B（生产者进程在批处理消息中失败）：生产者发送了一批失败的消息，但发布的成功很少。 在这种情况下，一旦生产者重新启动，它将再次