概述
Kafka生产者在分发数据时(多分区),一般是怎么发送数据呢?要想得到答案,我们不妨通过源码找到,Kafka默认使用DefaultPartitioner.class的分发策略,下面为源码的注释,让我们一起来解读一下:
/**
The default partitioning strategy:
<ul>
<li>If a partition is specified in the record, use it
<li>If no partition is specified but a key is present choose a partition based on a hash of the key
<li>If no partition or key is present choose a partition in a round-robin fashion
*/
其大致意思就是,如果消息指定了分区号,就按指定的分区号;如果没有指定分区号,就取key的哈希值对应的分区;如果既没有指定分区号,也没有key值,就采用轮询的方式,例如有两个个分区,上一条数据分发到了第一个分区,这条数据就会分发到第二个分区,下一条又分发给第一个分区…就这样重复轮询。
代码实现
Kafka为我们提供了以下策略:
//可根据主题和内容发送
public ProducerRecord(String topic, V value)
//根据主题,key、内容发送
public ProducerRecord(String topic, K key, V value)
//根据主题、分区、key、内容发送
public ProducerRecord(String topic, Integer partition, K key, V value)
//根据主题、分区、时间戳、key,内容发送
public ProducerRecord(String topic