kafka producer

消息发送流程

Kafka的Producer发送消息采用的是异步发送的方式
在消息发送的过程中，涉及到了两个线程——main线程和Sender线程，以及一个线程共享变量——RecordAccumulator。
main线程将消息发送给RecordAccumulator，Sender线程不断从RecordAccumulator中拉取消息发送到Kafka broker

ack

ack
生产者发送消息时可以设置的，acks参数
ack是一种应答机制，有三种

0：producer不等待broker的ack，这一操作提供了一个最低的延迟，broker一接收到还没有写入磁盘就已经返回，当broker故障时有可能丢失数据；
1：producer等待broker的ack，partition的leader落盘成功不用等待其他flower同步就返回ack，如果在follower同步成功之前leader故障，那么将会丢失数据；
-1（all）：producer等待broker的ack，partition的leader和follower全部落盘成功后才返回ack。但是如果在follower同步完成后，broker发送ack之前，leader发生故障，此时数据所有副本都已经保存，但是生产者没有收到ack应答认为失败了，kafka会选举一个新的leader生产者也会重新发送，那么会造成数据重复。

生产者导致的数据丢失

设置0和1都有可能发生数据丢失
ack为0，broker一接收到还没有写入磁盘就已经返回，当broker故障时有可能丢失数据
ack为1，partition的leader落盘成功不用等待其他flower同步就返回ack，如果在follower同步成功之前leader故障，那么将会丢失数据；

生产者导致的数据重复

ack为-1时可能会发生
partition的leader和follower全部落盘成功后才返回ack。但是如果在follower同步完成后，broker发送ack之前，leader发生故障，此时数据所有副本都已经保存，但是生产者没有收到ack应答认为失败了，kafka会选举一个新的leader生产者也会重新发送，那么会造成数据重复。

对应ack的3个api

对应ack的三种机制

<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>0.11.0.0</version>
</dependency>

准备参数

        Properties props = new Properties();
        props.put("bootstrap.servers", "192.168.199.100:9092");//kafka集群，broker-list
        props.put("acks", "all");
        props.put("retries", 1);//重试次数
        props.put("batch.size", 16384);//批次大小
        props.put("linger.ms", 1);//等待时间
        props.put("buffer.memory", 33554432);//RecordAccumulator缓冲区大小
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        Producer<String, String> producer = new KafkaProducer<>(props);

不需要参数的api

        for (int i = 0; i < 100; i++) {
            producer.send(new ProducerRecord<String, String>("mytopic", Integer.toString(i), Integer.toString(i)));
        }
        producer.close();

异步发送api

是有回调参数的
回调函数会在producer收到ack时调用，为异步调用，该方法有两个参数，分别是RecordMetadata和Exception，如果Exception为null，说明消息发送成功，如果Exception不为null，说明消息发送失败
但是消息发送失败会自动重试，不需要我们在回调函数中手动重试

        for (int i = 0; i < 100; i++) {
            producer.send(new ProducerRecord<String, String>("mytopic", Integer.toString(i), Integer.toString(i)), new Callback() {

                //回调函数，该方法会在Producer收到ack时调用，为异步调用
                @Override
                public void onCompletion(RecordMetadata metadata, Exception exception) {
                    if (exception == null) {
                        System.out.println("success->" + metadata.offset());
                    } else {
                        exception.printStackTrace();
                    }
                }
            });
        }
        producer.close();

同步发送API

同步发送的意思就是，一条消息发送之后，会阻塞当前线程，直至返回ack。
由于send方法返回的是一个Future对象，根据Futrue对象的特点，我们也可以实现同步发送的效果，只需在调用Future对象的get方发即可

        for (int i = 0; i < 100; i++) {
            producer.send(new ProducerRecord<String, String>("mytopic", Integer.toString(i), Integer.toString(i))).get();
        }
         producer.close();