Kafka生产者数据分发策略

本文介绍了Kafka生产者在多分区情况下如何分发数据。默认使用DefaultPartitioner,当消息有指定分区号则按指定,无指定则取key哈希或轮询分配。此外,还可自定义分区策略,实现Partitioner接口并设置partition.class属性。
摘要由CSDN通过智能技术生成

文章目录

概述

Kafka生产者在分发数据时(多分区),一般是怎么发送数据呢?要想得到答案,我们不妨通过源码找到,Kafka默认使用DefaultPartitioner.class的分发策略,下面为源码的注释,让我们一起来解读一下:

/**
The default partitioning strategy:
<ul>
<li>If a partition is specified in the record, use it
<li>If no partition is specified but a key is present choose a partition based on a hash of the key
<li>If no partition or key is present choose a partition in a round-robin fashion
*/

其大致意思就是,如果消息指定了分区号,就按指定的分区号;如果没有指定分区号,就取key的哈希值对应的分区;如果既没有指定分区号,也没有key值,就采用轮询的方式,例如有两个个分区,上一条数据分发到了第一个分区,这条数据就会分发到第二个分区,下一条又分发给第一个分区…就这样重复轮询。

代码实现

Kafka为我们提供了以下策略:

//可根据主题和内容发送
public ProducerRecord(String topic, V value)
//根据主题,key、内容发送
public ProducerRecord(String topic, K key, V value)
//根据主题、分区、key、内容发送
public ProducerRecord(String topic, Integer partition, K key, V value)
//根据主题、分区、时间戳、key,内容发送
public ProducerRecord(String topic
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值