【kafka原理】Kafka生产者 (分区策略和ACK应答机制)

本文详细介绍了Kafka生产者的分区原则,包括指明partition、key的hash取余和round-robin算法。同时,探讨了Kafka的数据可靠性保证,如副本数据同步策略,选择了全量同步以降低数据冗余。接着,讨论了Ack应答机制的三种级别,允许用户根据需求平衡可靠性和延迟。此外,还分析了follower和leader故障的处理细节,以及Exactly Once语义在不同ACK级别下的实现。最后,作者分享了个人的开发经验和学习资源。
摘要由CSDN通过智能技术生成

分区原则

我们需要将producer发送的数据封装成一个ProducerRecord对象

在这里插入图片描述

  1. 指明 partition 的情况下,直接将指明的值直接作为 partiton 值;

  2. 没有指明 partition 值但有 key 的情况下,将 key 的 hash 值与 topic 的 partition 数进行取余得到 partition 值;

  3. 既没有 partition 值又没有 key 值的情况下,第一次调用时随机生成一个整数(后 面每次调用在这个整数上自增),将这个值与 topic 可用的 partition 总数取余得到 partition 值,也就是常说的 round-robin 算法。

数据可靠性保证


为保证 producer 发送的数据,能可靠的发送到指定的 topic,topic 的每个 partition 收到 producer 发送的数据后,都需要向 producer 发送 ack(acknowledgement 确认收到),如果 producer 收到 ack,就会进行下一轮的发送,否则重新发送数据。

在这里插入图片描述

副本数据同步策略

| 方案 | 优点 | 缺点 |

| — | — | — |

| 半数以上完成同步,就发 送 ack | 延迟低 | 选举新的 leader 时,容忍 n 台 节点的故障,需要 2n+1 个副 本 |

| 全部完成同步,才发送 | | |

| ack | 选举新的 leader 时,容忍 n 台 节点的故障,需要 n+1 个副 本 | 延迟高 |

Kafka 选择了第二种方案࿰

  • 29
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值