Kafka学习笔记 - 03: 消息与同步机制

Producer 根据指定的 partition 方法(默认round-robin、hash等)，将消息发布到指定 topic 的 partition 里面；kafka 集群接收到Producer 发过来的消息后，将其持久化到硬盘，并保留消息指定时长(可配置)，而不关注消息是否被消费；Consumer 从 Kafka集群 pull 数据，并控制获取消息的 offset。
下面讨论以下 Kafka 如何确保消息在 producer和 consumer之间的传输。producer 与 consumer 有可能的 delivery guarantee：

• At most once 消息可能会丢，但绝不会重复传输
• At least one 消息绝不会丢，但可能会重复传输
• Exactly once 每条消息肯定会被传输一次且仅传输一次，很多时候这是用户所想要的

Producer

producer 的 deliver guarantee 可以通过 request.required.acks 参数的设置来进行调整：

• 0 ，相当于异步发送，消息发送完毕即offset增加，继续生产；相当于 At most once;
• 1，leader 收到 leader replica 对一个消息的接受 ack 才增加 offset，然后继续生产;
• -1，leader 收到所有 replica 对一个消息的接受 ack 才增加 offset，然后继续生产;

当 producer 向 broker 发送消息时，一旦这条消息被 commit，因数 replication 的存在，它就不会丢。但是如果 producer 发送数据给 broker 后，遇到的网络问题而造成通