消息存哪个分区上的规则:
首先根据自定义分区,如果没有自定义分区就根据key的hash,value的hash,如果这俩都没有,就用轮询方式.
自定义分区:把所有消息存到1分区
定义一个类实现Partitioner接口,重写里面的方法(过时API)
package com.buba.kafka;
import java.util.Map;
import kafka.producer.Partitioner;
public class CustomPartitioner implements Partitioner {
public CustomPartitioner() {
super();
}
@Override
public int partition(Object key, int numPartitions) {
// 控制分区
return 0;
}
}
我使用的是下面新的api
自定义分区(新API)
package com.buba.kafka.producer;
import java.util.Map;
import org.apache.kafka.clients.producer.Partitioner;
import org.apache.kafka.common.Cluster;
public class CustomPartitioner implements Partitioner {
//初始化
@Override
public void configure(Map<String, ?> configs) {
}
/**
* 自定义分区,业务逻辑复杂的话根据下面这几个参数来自行定义
* @param topic
* @param key
* @param keyBytes
* @param value
* @param valueBytes
* @param cluster
* @return
*/
@Override
public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
// 我直接把它们都放1分区,简单测试一下
return 1;
}
//关闭处理
@Override
public void close() {
}
}
自定完分区后,在发送消息代码里指定一下就可以了,其余的不变
props.put("partitioner.class", "com.buba.kafka.producer.CustomPartitioner");
package com.buba.kafka.producer;
import org.apache.kafka.clients.producer.*;
import java.util.Properties;
public class ParttionProducer {
public static void main(String[] args) {
//1.配置属性值
Properties props = new Properties();
// Kafka服务端的主机名和端口号
props.put("bootstrap.servers", "hadoop-senior01.buba.com:9092");
// 所有副本都必须应答后再发送
props.put("acks", "all");
// 发送失败后,再重复发送的次数
props.put("retries", 0);
// 一批消息处理大小
props.put("batch.size", 16384);
// 请求时间间隔
props.put("linger.ms", 1);
// 发送缓存区内存大小
props.put("buffer.memory", 33554432);
// key序列化
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
// value序列化
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
//自定义分区
props.put("partitioner.class", "com.buba.kafka.producer.CustomPartitioner");
//2.定义kafka生产者
Producer<String, String> producer = new KafkaProducer<>(props);
//3.发送消息
for (int i = 0; i < 50; i++) {
//参数1:要发送消息到哪个topic 参数2,3:key,value
producer.send(new ProducerRecord<String, String>("second", Integer.toString(i), "hello world-" + i),new Callback() {
@Override
public void onCompletion(RecordMetadata metadata, Exception exception) {
if (metadata != null) {
//输出分区+偏移量
System.err.println(metadata.partition() + "---" + metadata.offset());
}
}
});
}
//4.关闭资源
producer.close();
}
}