Kafka生产者分区发送数据

一、Kafka分区的优点

1.便于合理使用存储资源

每个Partition在一个Broker上存储，可以把海量的数据按照分区切割成一块一块数据存储在多台Broker上。合理控制分区的任务，可以实现负载均衡的效果

2.提高并行度

生产者可以以分区为单位发送数据；消费者可以以分区为单位进行消费数据

二、默认分区器DefaultPartitioner

1. 指明partition的情况下，直接将指明的值作为partition值；例如partition=0，所有数据写入分区0

2. 没有指明partition值但有key的情况下，将key的hash值与topic的partition数进行区域得到partition值；例如：key1的hash值=5，key2的hash值=6，topic的partition数=2，那么key1对应的value1写入1号分区，key2对应的value2写入0号分区

3. 既没有partition值有没有key值的情况下，Kafka采用Sticky Partition（粘性分区器），会随机选择一个分区，并尽可能一直使用该分区，待该分区的batch已满或者已完成，Kafka再随机一个分区进行使用（和上一次的分区不同）。例如：第一次随机选择0号分区，等0号分区当前批次满了（默认16K）或者linger.ms设置的时间到，Kafka再随机一个分区进行使用（如果还是0会继续随机）

三、Java实现将数据发往指定的partition中

import org.apache.kafka.clients.producer.*;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;

public class CustomProducerCallbackPartitions {
    public static void main(String[] args) {
        // 1.创建kafka生产者的配置对象
        Properties properties = new Properties();
        // 2.给kafka配置对象添加配置信息
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"node1:9092");
        // key,value序列化：key.serializer,value.serializer
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());
        // 3.创建kafka生产者对象
        KafkaProducer<Object, Object> kafkaProducer = new KafkaProducer<>(properties);
        // 4.发送数据
        for (int i=0;i<5;i++){
            // 指定数据发送到1号分区，key为空
            kafkaProducer.send(new ProducerRecord<>("first", 1, "", "testMessage" + i), new Callback() {
                @Override
                public void onCompletion(RecordMetadata recordMetadata, Exception e) {
                    if (e==null){
                        System.out.println("主题: "+recordMetadata.topic()+"->"+"分区: "+recordMetadata.partition());
                    }else {
                        e.printStackTrace();
                    }
                }
            });
        }
        // 5.关闭生产者
        kafkaProducer.close();
    }
}

四、Java实现没有指明partition值但是有key的情况

import org.apache.kafka.clients.producer.*;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;

public class CustomProducerCallbackPartitions{
    public static void main(String[] args) {
        // 1.创建kafka配置对象
        Properties properties = new Properties();
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"node1:9092");
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());
        // 2.创建kafka生产者
        KafkaProducer<Object, Object> kafkaProducer = new KafkaProducer<>(properties);
        // 3.发送数据
        for (int i=0;i<5;i++){
            // 依次指定key值为a,b,f,数据key的hash与3个分区秋雨，分别发往1、2、0
            kafkaProducer.send(new ProducerRecord<>("first", "a", "testMessage" + i), new Callback() {
                @Override
                public void onCompletion(RecordMetadata recordMetadata, Exception e) {
                    if (e==null){
                        System.out.println("主题: "+recordMetadata.topic()+"->"+"分区:"+recordMetadata.partition());
                    } else {
                        e.printStackTrace();
                    }
                }
            });
        }
        // 4.关闭生产者
        kafkaProducer.close();
    }
}

五、自定义分区器

一、介绍

如果研发人员可以根据企业需求，自己重新实现分区器

二、需求

自定义分区器，实现发送过来的数据中如果含有test，就发往0号分区，不包含test就发往1号分区

三、Java实现自定义分区器

• 创建分区器

import org.apache.kafka.clients.producer.Partitioner;
import org.apache.kafka.common.Cluster;

import java.util.Map;

/**
 * 1.实现接口Partitioner
 * 2.实现3个方法:partition，close，configure
 * 3.编写partition方法，返回分区号
 */
public class MyPartitioner implements Partitioner {
    /**
     * 返回信息对应的翻去
     * @param topic         主题
     * @param key           消息的key
     * @param keyBytes      消息的key序列化后的字节数组
     * @param value         消息的value
     * @param valueBytes    消息的value序列化后的字节数组
     * @param cluster       集群元数据可以查看分区信息
     * @return
     */
    @Override
    public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
        // 获取消息
        String msgValue = value.toString();
        // 创建partition
        int partition;
        // 判断消息是否包含test
        if (msgValue.contains("test")){
            partition = 0;
        } else {
            partition = 1;
        }
        // 返回分区号
        return partition;
    }

    // 关闭资源
    @Override
    public void close() {
    }

    // 配置方法
    @Override
    public void configure(Map<String, ?> configs) {
    }
}

• 使用分区器

import org.apache.kafka.clients.producer.*;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;

public class CustomProducerCallbackPartitions{
    public static void main(String[] args) {
        // 1.创建配置对象
        Properties properties = new Properties();
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"node1:9092");
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        // 添加自定义分区器
        properties.put(ProducerConfig.PARTITIONER_CLASS_CONFIG,"MyPartitioner");
        // 2.创建生产者
        KafkaProducer<Object, Object> kafkaProducer = new KafkaProducer<>(properties);
        // 3.发送数据
        for (int i=0;i<5;i++){
            kafkaProducer.send(new ProducerRecord<>("first","testMessage"+i), new Callback() {
                @Override
                public void onCompletion(RecordMetadata recordMetadata, Exception e) {
                    if (e==null){
                        System.out.println("主题: "+recordMetadata.topic()+"->"+"分区: "+recordMetadata.partition());
                    }else{
                        e.printStackTrace();
                    }
                }
            });
        }
        // 4.关闭生产者
        kafkaProducer.close();
    }
}