目录
1、生产者代码基本实现
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>2.4.1</version>
</dependency>
public class myProducer {
private final static String TOPIC_NAME = "myTopic";
public static void main(String[] args) throws ExecutionException, InterruptedException {
Properties props = new Properties();
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,
"192.168.72.128:9092,192.168.72.128:9093,192.168.72.128:9094");
//把发送的key从字符串序列化为字节数组
props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,
StringSerializer.class.getName());
//把发送消息value从字符串序列化为字节数组
props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,
StringSerializer.class.getName());
Producer<String, String> producer = new KafkaProducer<String,String>(props);
for (int i = 0; i < 10l ;i++){
Order order = new Order((long) i, i);
ProducerRecord<String, String> producerRecord = new ProducerRecord<String, String>(TOPIC_NAME , order.getOrderId().toString(), JSON.toJSONString(order));
//1、同步发送消息
//等待消息发送成功的同步阻塞⽅法
RecordMetadata metadata = producer.send(producerRecord).get();
//=====阻塞=======
System.out.println("同步⽅式发送消息结果:" + "topic-" + metadata.topic() + "|partition-" + metadata.partition() + "|offset-" + metadata.offset());
//2、异步回调⽅式发送消息
producer.send(producerRecord, new Callback() {
public void onCompletion(RecordMetadata metadata, Exception
exception) {
if (exception != null) {
System.err.println("发送消息失败:" + exception.getStackTrace());
}
if (metadata != null) {
System.out.println("异步⽅式发送消息结果:" + "topic-" + metadata.topic() + "|partition-" + metadata.partition() + "|offset-" + metadata.offset());
}
}
});
}
}
}
2、生产者ack的配置
props.put(ProducerConfig.ACKS_CONFIG, "1");
/*
发送失败会重试,默认重试间隔100ms,重试能保证消息发送的可靠性,
但是也可能造成消息重复发送,⽐如⽹络抖动。
所以需要在接收者那边做好消息接收的幂等性处理
*/
props.put(ProducerConfig.RETRIES_CONFIG, 3);
//重试间隔设置
props.put(ProducerConfig.RETRY_BACKOFF_MS_CONFIG, 300);
在同步发消息的场景下:⽣产者发动broker上后,ack会有3种不同的选择:
(1)acks=0: 表示producer不需要等待任何broker确认收到消息的回复,就可以继续发送下⼀条消息。性能最⾼,但是最容易丢消息。
(2)acks=1: ⾄少要等待leader已经成功将数据写⼊本地log,但是不需要等待所有follower是否成功写⼊。就可以继续发送下⼀条消息。这种情况下,如果follower没有成功备份数据,⽽此时leader⼜挂掉,则消息会丢失。
(3)acks=-1或all: 需要等待 min.insync.replicas(默认为1,推荐配置⼤于等于2) 这个参数配置的副本个数都成功写⼊⽇志,这种策略会保证只要有⼀个备份存活就不会丢失数据。这是最强的数据保证。⼀般除⾮是⾦融级别,或跟钱打交道的场景才会使⽤这种配置。
注:ack小细节
1、发送会默认会重试3次,每次间隔100ms
2、发送的消息会先进⼊到本地缓冲区(默认32mb),kakfa会跑⼀个线程,该线程去缓冲区中取16k的数据,发送到kafka,如果到10毫秒数据没取满16k,也会发送⼀次。
3、消息发送的缓冲区机制
1、kafka默认会创建⼀个消息缓冲区,用来存放要发送的消息,默认大小是32m。
props.put(ProducerConfig.BUFFER_MEMORY_CONFIG, 33554432);
2、kafka本地线程会去缓冲区中⼀次拉16k的数据,批量发送到broker。
props.put(ProducerConfig.BATCH_SIZE_CONFIG, 16384);
3、如果线程拉不到16k的数据,间隔10ms也会将已拉到的数据发到broker。
props.put(ProducerConfig.LINGER_MS_CONFIG, 10);