kafka partition分配_Kafka分区分配计算(分区器Partitions)

本文详细介绍了KafkaProducer在发送消息时的分区分配过程,包括默认的分区计算逻辑,即根据ProducerRecord的partition字段或使用DefaultPartitioner进行分区。当key为null时采用轮询方式,key不为null时使用murmur2哈希算法。同时讨论了如何自定义分区器以适应特定业务需求,通过实现Partitioner接口并配置producer。
摘要由CSDN通过智能技术生成

KafkaProducer在调用send方法发送消息至broker的过程中,首先是经过拦截器Inteceptors处理,然后是经过序列化Serializer处理,之后就到了Partitions阶段,即分区分配计算阶段。在某些应用场景下,业务逻辑需要控制每条消息落到合适的分区中,有些情形下则只要根据默认的分配规则即可。在KafkaProducer计算分配时,首先根据的是ProducerRecord中的partition字段指定的序号计算分区。读者有可能刚睡醒,看到这个ProducerRecord似曾相识,没有关系,先看段Kafka生产者的示例片段:

Producer producer = new KafkaProducer(properties);

String message = "kafka producer demo";

ProducerRecord producerRecord = new ProducerRecord(topic,message);

try {

producer.send(producerRecord).get();

} catch (InterruptedException e) {

e.printStackTrace();

} catch (ExecutionException e) {

e.printStackTrace();

}

没错,ProducerRecord只是一个封装了消息的对象而已,ProducerRecord一共有5个成员变量,即:

private final String topic;//所要发送的topic

private fi

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值