Kafka自定义分区生产者java-API操作-05

最新推荐文章于 2023-01-24 18:31:32 发布

kxj19980524

最新推荐文章于 2023-01-24 18:31:32 发布

阅读量751

点赞数

分类专栏： kafka

本文链接：https://blog.csdn.net/kxj19980524/article/details/90170318

版权

kafka 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

消息存哪个分区上的规则:

首先根据自定义分区,如果没有自定义分区就根据key的hash,value的hash,如果这俩都没有,就用轮询方式.

自定义分区:把所有消息存到1分区

定义一个类实现Partitioner接口，重写里面的方法（过时API）

package com.buba.kafka;
import java.util.Map;
import kafka.producer.Partitioner;

public class CustomPartitioner implements Partitioner {

	public CustomPartitioner() {
		super();
	}

	@Override
	public int partition(Object key, int numPartitions) {
		// 控制分区
		return 0;
	}
}

我使用的是下面新的api

自定义分区（新API）

package com.buba.kafka.producer;

import java.util.Map;
import org.apache.kafka.clients.producer.Partitioner;
import org.apache.kafka.common.Cluster;

public class CustomPartitioner implements Partitioner {

	//初始化
	@Override
	public void configure(Map<String, ?> configs) {
		
	}

	/**
	 * 自定义分区,业务逻辑复杂的话根据下面这几个参数来自行定义
	 * @param topic
	 * @param key
	 * @param keyBytes
	 * @param value
	 * @param valueBytes
	 * @param cluster
	 * @return
	 */
	@Override
	public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
        // 我直接把它们都放1分区,简单测试一下
		return 1;
	}

	//关闭处理
	@Override
	public void close() {
		
	}
}

自定完分区后,在发送消息代码里指定一下就可以了,其余的不变

props.put("partitioner.class", "com.buba.kafka.producer.CustomPartitioner");

package com.buba.kafka.producer;

import org.apache.kafka.clients.producer.*;

import java.util.Properties;

public class ParttionProducer {

    public static void main(String[] args) {

        //1.配置属性值
        Properties props = new Properties();

        // Kafka服务端的主机名和端口号
        props.put("bootstrap.servers", "hadoop-senior01.buba.com:9092");

        // 所有副本都必须应答后再发送
        props.put("acks", "all");

        // 发送失败后,再重复发送的次数
        props.put("retries", 0);

        // 一批消息处理大小
        props.put("batch.size", 16384);

        // 请求时间间隔
        props.put("linger.ms", 1);

        // 发送缓存区内存大小
        props.put("buffer.memory", 33554432);

        // key序列化
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        // value序列化
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        //自定义分区
        props.put("partitioner.class", "com.buba.kafka.producer.CustomPartitioner");

        //2.定义kafka生产者
        Producer<String, String> producer = new KafkaProducer<>(props);

        //3.发送消息
        for (int i = 0; i < 50; i++) {

            //参数1:要发送消息到哪个topic   参数2,3:key,value
            producer.send(new ProducerRecord<String, String>("second", Integer.toString(i), "hello world-" + i),new Callback() {

                @Override
                public void onCompletion(RecordMetadata metadata, Exception exception) {

                    if (metadata != null) {
                        //输出分区+偏移量
                        System.err.println(metadata.partition() + "---" + metadata.offset());
                    }
                }
            });
        }

        //4.关闭资源
        producer.close();
    }
}