kafka-8 producer发送原理

producer发送核心流程概览

发送过程

• 1、ProducerInterceptors是一个拦截器，对发送的数据进行拦截

ps：实际用处不大，过滤，拦截消息，在直接发送数据之前自己用代码过滤即可

• 2、Serializer 对消息的key和value进行序列化

• 3、通过使用分区器作用在每一条消息上，实现数据分发进行入到topic不同的分区中

• 4、RecordAccumulator收集消息，实现批量发送

• 它是一个缓冲区，可以缓存一批数据，把topic的每一个分区数据存在一个队列中，然后封装消息成一个一个的batch批次，最后实现数据分批次批量发送。
• 有多少个分区就有多少个队列

• 5、Sender线程从RecordAccumulator获取消息

• 6、构建ClientRequest对象

• 7、将ClientRequest交给 NetWorkClient准备发送

• 8、NetWorkClient 将请求放入到KafkaChannel的缓存（利用了RPC 和JAVA的非阻塞线程NIO）

• 9、发送请求到kafka集群

• 10、调用回调函数，接受到响应

代码实现

/**
 * 需求：开发kafka生产者代码
 */
public class KafkaProducerStudyDemo {
    public static void main(String[] args) throws ExecutionException, InterruptedException {
        //准备配置属性
        Properties props = new Properties();
        //kafka集群地址
        props.put("bootstrap.servers", "node01:9092,node02:9092,node03:9092");
        //acks它代表消息确认机制   // 1 0 -1 all
        props.put("acks", "all");
        //重试的次数
        props.put("retries", 0);
        //批处理数据的大小，每次写入多少数据到topic
        props.put("batch.size", 16384);
        //可以延长多久发送数据
        props.put("linger.ms", 1);
        //缓冲区的大小
        props.put("buffer.memory", 33554432);
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        //添加自定义分区函数
       // props.put("partitioner.class","com.partitioner.MyPartitioner");

        Producer<String, String> producer = new KafkaProducer<String, String>(props);
        for (int i = 0; i < 100; i++) {

            // 这是异步发送的模式
            producer.send(new ProducerRecord<String, String>("test", Integer.toString(i), "hello-kafka-"+i), new Callback() {
                public void onCompletion(RecordMetadata metadata, Exception exception) {
                    if(exception == null) {
                        // 消息发送成功
                        System.out.println("消息发送成功");
                    } else {
                        // 消息发送失败，需要重新发送
                    }
                }

            });

            // 这是同步发送的模式
            //producer.send(record).get();
            // 你要一直等待人家后续一系列的步骤都做完，发送消息之后
            // 有了消息的回应返回给你，你这个方法才会退出来
        }
        producer.close();
    }

}