【译】Kafka-Exactly-Once语义

Kafka消息有且仅有一次(Exactly Once)的语义已经被讨论太多次了，但从来都没实现。最近Confluent公司的CTO，Neha Narkhede，写了一篇文章关于Kafka 0.11版本带来的梦寐以求的特性–有且仅有一次的语义。

在此之前，业界都认为这个在分布式系统中几乎是不可能实现的。Kafka这次发布吸引了社区的广泛关注。在Hevo(译者注：笔者所在的公司)，Kafka是核心基础设施，因此我们对于Kafka的有且仅有一次语义非常好奇。这篇文章分析Kafka是怎么实现有且仅有一次的语义的，并且展示怎么使用这个特性。

为什么我们需要有且仅有一次的语义？

至少一次(At Least Once)的语义能够保证每条消息至少存储一次，不会发生丢失。对于可靠性来说，这是很重要的。但是另一方面，这也带来了由于生产者重试而导致消息重复的问题。

例如，broker可能在提交消息和返回ack给生产者中间宕机，在这种情况下，生产者会由于没有收到响应而重试，从而导致消息流的重复。因此，生产者请求的幂等性是非常重要的，这能够保证即便出现重试或者broker故障，每条消息也只会出现一次。