springboot集成整合kafka-自定义分区策略、将消息发送到指定的分区partition

写在前面：各位看到此博客的小伙伴，如有不对的地方请及时通过私信我或者评论此博客的方式指出，以免误人子弟。多谢！

  kafka中每个topic可定义多个分区，那么生产者将消息发送到topic时，具体追加到哪个分区呢？上一篇我们已经通过这种方式：@KafkaListener(topics = {"mytopic"},topicPartitions = {@TopicPartition(topic = "mytopic",partitions = {"1","3"})})实现了只消费指定分区的消息，但并没有实现将消息发送到指定分区，这篇就记录一下kafka自定义分区策略-将消息发送到我们指定的partition。

其实不用自定义分区策略一样可以将消息发送到指定分区，看下send()方法：

可以看到有两个重载的send方法可以直接指定分区发送消息，这里就不测试了，直接看自定义分区策略。

在自定义分区策略前，先看下kafka默认是怎么的，访问http://localhost:8080/send1?message=test1，看下打印结果：

可以看到消息随机分布到topic的各个分区上，这是kafka默认的分区策略，轮询选出一个patition。

在自定义分区策略前，我们还应该知道消息的路由机制：

1. 若发送消息时指定了分区（即自定义分区策略），则直接将消息append到指定分区；
2. 若发送消息时未指定patition，但指定了key（kafka允许为每条消息设置一个key），则对key值进行hash计算，根据计算结果路由到指定分区，这种情况下可以保证同一个Key的所有消息都进入到相同的分区；
3. patition 和 key 都未指定，则使用kafka默认的分区策略，轮询选出一个 patition；

测试一下为消息指定key时是否会将消息发送到指定分区，通过send的另一个方法send(String var1, K var2, V var3)测试一下：

代码如下：

    @GetMapping("/send3")
    public String send3(String message) {
        String key = "zxcvb";
        kafkaTemplate.send(topic,key, message).addCallback(
                success ->{
                    String topic = success.getRecordMetadata().topic();
                    int partition = success.getRecordMetadata().partition();
                    long offset = success.getRecordMetadata().offset();
                    System.out.println("topic:" + topic + " partition:" + partition + " offset:" + offset);
                },
                failure ->{
                    String message1 = failure.getMessage();
                    System.out.println(message1);
                }
        );
        return "success";
    }

访问http://localhost:8080/send3?message=test3  多次，打印结果如下：

可以看到消息都发送到partition1上了。

下面说下本篇的正题，自定义分区策略，自定义分区策略其实很简单，只要实现Partitioner接口，重写它的方法就好了，看下代码：

@Component
public class CustomizePartitioner implements Partitioner {

    /**
     * 自定义分区策略
     */
    @Override
    public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
        // 获取topic的分区列表
        List<PartitionInfo> partitionInfoList = cluster.availablePartitionsForTopic(topic);
        int partitionCount = partitionInfoList.size();
        int auditPartition = partitionCount - 1;
        return auditPartition;
    }

    /**
     * 在分区程序关闭时调用
     */
    @Override
    public void close() {
        System.out.println("colse ...");
    }

    /**
     * 做必要的初始化工作
     */
    @Override
    public void configure(Map<String, ?> configs) {
        System.out.println("init ...");
    }
}

定义完分区策略，需要配置下分区策略，在KafkaProducerConfig中producerConfigs方法里追加如下一行代码即可：

props.put(ProducerConfig.PARTITIONER_CLASS_CONFIG,"com.example.springbootkafka.config.CustomizePartitioner");

新增测试方法：

    @GetMapping("/send5")
    public String send5(String message) {
        kafkaTemplate.send(topic, message).addCallback(
                success ->{
                    String topic = success.getRecordMetadata().topic();
                    int partition = success.getRecordMetadata().partition();
                    long offset = success.getRecordMetadata().offset();
                    System.out.println("topic:" + topic + " partition:" + partition + " offset:" + offset);
                },
                failure ->{
                    String message1 = failure.getMessage();
                    System.out.println(message1);
                }
        );
        return "success";
    }

访问http://localhost:8080/send5?message=test5 多次，查看打印结果如下：

由打印结果来看，消息都发到partition4分区了，另外mytopic有5个分区，返回auditPartition为4，也没错。