kafka默认分区机制源码解析

最新推荐文章于 2024-04-27 16:05:45 发布

青竹紫苏铁

最新推荐文章于 2024-04-27 16:05:45 发布

阅读量1.5k

点赞数 2

分类专栏： kafka学习文章标签： kafka partition java 分区

本文链接：https://blog.csdn.net/qq_43348337/article/details/84944339

版权

本文深入探讨了Kafka的默认分区策略。当key为null时，采用轮询方式分配分区；若key存在，通过Murmur2哈希算法计算分区，确保高效且均匀的分布。了解这一机制有助于优化消息发送和消费。每日更新，欢迎交流，邮箱：yang1816912102@163.com。

摘要由CSDN通过智能技术生成

如果key为null,则按照一种轮询的方式来计算分区分配
（第一次调用时，获得一个数，将他存入topicCounterMap中，下次调用时，取出该数，并counter.getAndIncrement(),这样每次获得的数都不一样，用他取代key的作用）

如果key不为null，则使用Hash算法（murmur的hash算法：非加密型Hash函数，具备高运算性能及低碰撞率）来计算分区分配；
（key的hash值取模，除以分区数量，取余数）
（toPositive(Utils.murmur2(keyBytes)) % numPartitions;）

//
// Source code recreated from a .class file by IntelliJ IDEA
// (powered by Fernflower decompiler)

import java.util.List;
import java.util.Map;
import java.util.concurrent.ConcurrentHashMap;
import java.util.concurrent.ConcurrentMap;
import java.util.concurrent.ThreadLocalRandom;
import java.util.concurrent.atomic.AtomicInteger;
import org.apache.kafka.clients.producer.Partitioner;
import org.apache.kafka.common.Cluster;
import org.apache.