自定义实现kafka分区

首先写一个自定义分区算法

package Test
import java.util.Map;

import org.apache.kafka.clients.producer.Partitioner;
import org.apache.kafka.common.Cluster;
//生命周期方法
public class HashPartition implements Partitioner {

	public HashPartition(){
		System.out.println("HashPartition构造...");
	}
	
	@Override
	public void configure(Map<String, ?> configs) {
		System.out.println("hashPatition的configure方法 读取到的配置信息如下:");
		System.out.println(configs);
		System.out.println("=============");
	}

	@Override
	public void close() {
		System.out.println("===============");
		System.out.println("hashpartition关闭");
		System.out.println("===============");


	}

	@Override
	//key 键  keyBytes ：key被序列后的字节数组
	// cluster ：集群信息
	public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
		System.out.println("开始调用partition了");
		
		//业务逻辑
		int nums=cluster.partitionCountForTopic(topic);//分区数
		System.out.println("分区数："+nums);
		int result=0;
		try {
			int keyNum=Integer.parseInt(key.toString());  //这里要把key转为Int类型，方便计算
			result=keyNum%nums;
			System.out.println("经过计算后，将这条数据:"+key+"分到"+result+"分区上");
		} catch (NumberFormatException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		
		return result;
	}

}

pom.xml：

<dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.1</version>
      <!-- <scope>test</scope> -->
    </dependency>
    
    <dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka_2.12</artifactId>
    <version>2.3.0</version>
    
</dependency>

接着写一个类实现一下

package Test
import java.util.Properties;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;

public class KafkaProducerDemo {
	
	public static void main(String[] args) {
		Properties props=new Properties();
		props.put("bootstrap.servers", "server0:9092");
		props.put("acks", "all");
		props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
		props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
		props.put("partitioner.class", "Test.HashPartition(这里就是你自己写的分区算法的路径)");
		Producer<String, String> producer = new KafkaProducer<>(props);
		
		for (int i = 0; i < 100; i++)
		     producer.send(new ProducerRecord<String, String>("cc_test5", Integer.toString(i), Integer.toString(i)));
			
		 producer.close();
		 
		 System.out.println("发送100条消息成功...");

	}
	
	

}

然后你可以运行一下看一下效果，但是因为我们这个自定义算法其实和默认分区机制是差不多的，所以你可以把result的值改为0，就是全部都放在第一个分区里，但是我们打印了我们自己写的分区算法的结果，所以你在控制台的输出里可以看到实现分区的信息