kafka生产者消息如何分区 和 压缩算法

一、 生产者消息如何分区

kafka的消息组织结构是： topic(主题)--partition(分区)--record(消息)，topic下的每条record只会保存在某一个partition中。

分区的主要作用，就是提供负载均衡的能力，分区是部署在不同节点的机器上，通过加节点来提升系统的吞吐量。

在考虑系统的分区策略时，一般有，将消息数据均匀地分配到各个分区上，或者，按具体业务规则实现某种顺序分布在分区上。

如何设定分区策略：

配置producer端的参数：partitioner.class

比如：kafkaProps.put("partitioner.class", "com.yjp.producer.MyPartitioner");

MyPartitioner实现org.apache.kafka.clients.producer.Partitioner 接口的 int partition(params...)方法,partition入参可以参考javadoc

 

具体分区策略如下：

轮询策略：即顺序分配，也是生产者api默认提供的分区策略， 如果未指定 partitioner.class参数，或者设定org.apache.kafka.clients.producer.internals.DefaultPartitioner即指定该策略。

返回分区位置的代码：

List<PartitionInfo> partitions = cluster.partitionsForTopic(topic);
return Utils.toPositive(Utils.murmur2(keyBytes)) % partitions.size();

 

随机策略：即随意放在任意一个分区上。

代码：

List<PartitionInfo> partitions = cluster.partitionsForTopic(topic);
return ThreadLocalRandom.current().nextInt(partitions.size());

 

按key分区策略：kafka允许为每条消息定义key，key是有着实际业务含义的字符串，该策略可以保证拥有同一种key的所有消息可以进入到相同的分区里。

代码：

List<PartitionInfo> partitions = cluster.partitionsForTopic(topic);
return Math.abs(key.hashCode()) % partitions.size();

 

其他分区策略，比如按ip地址

代码：

List<PartitionInfo> partitions = cluster.partitionsForTopic(topic);
return partitions.stream().filter(p -> your filter).map(PartitionInfo::partition).findFirst().get();

另外，创建topic时可以指定partition放在哪些broker上，可以解决异地kafka集群的问题。

 

二、消息压缩算法

消息压缩，优势是节省带宽资源和broker磁盘存储的空间，缺点是牺牲了cpu资源

理论上的做法是 producer压缩，broker保持，consumer解压缩（kafka会把具体的压缩算法封装到消息集合中）

但是现在的kafka版本在broker端会解压缩，主要是对消息执行CRC校验。未来可能会把校验放到producer端，然后把校验值传到broker端。

如何压缩？

Properties props = new Properties();
props.put("compression.type", "gzip");  //开启GZIP压缩
Producer<String, String> producer = new KafkaProducer<Integer, String>(props);

除GZIP以外，还有几种压缩算法，Snappy、LZ4和zstd， 他们分别在cpu消耗，压缩比，压缩和解压缩时间方面各有千秋，比如zstd有很好的压缩比，但是在压缩和解压缩时间上就中规中矩。所以具体要根据实际生产需求决定选用哪一种。