1. 生产者分区选择配策略
生产者在将消息发送到某个Topic ,需要经过拦截器、序列化器和分区器(Partitioner
)的一系列作用之后才能发送到对应的Broker,在发往Broker之前是需要确定它所发往的分区。
- 如果消息
ProducerRecord
指定了partition字段,那么就不需要分区器。 - 如果消息
ProducerRecord
没有指定partition字段,那么就需要依赖分区器,根据key这个字段来计算partition的值。分区器的作用就是为消息分配分区。
public class ProducerRecord<K, V> {
// 该消息需要发往的主题
private final String topic;
// 该消息需要发往的主题中的某个分区,如果该字段有值,则分区器不起作用,直接发往指定的分区
// 如果该值为null,则利用分区器进行分区的选择
private final Integer partition;
private final Headers headers;
// 如果partition字段为null,则使用分区器进行分区选择时会用到该key字段,该值可为空
private final K key;
private final V value;
private final Long timestamp;
Kafka 中提供的默认分区器是 DefaultPartitioner
,它实现了Partitioner接口(用户可以实现这个接口来自定义分区器),其中的partition方法就是用来实现具体的分区分配逻辑:
- 如果在发消息的时候指定了分区,则消息投递到指定的分区。
- 如果没有指定分区,但是消息的key不为空,则使用称之为
murmur
的Hash算法(非加密型Hash函数,具备高运算性能及低碰撞率)来计算分区分配。 - 如果既没有指定分区,且消息的key也是空,则用轮询的方式选择一个分区。
public class DefaultPartitioner implements Partitioner {
private final ConcurrentMap<String, AtomicInteger> topicCounterMap = new ConcurrentHashMap<>();
public int partition(String topic, Object key, byte[] keyBytes, Object value, byt