Kafka 实战 - Kafka生产者事务和幂等性

Apache Kafka 提供了生产者事务功能，确保在分布式事务中多个消息的原子性和一致性。此外，Kafka生产者还支持幂等性（Idempotency），确保在特定条件下重复发送的消息只会被Kafka处理一次，从而避免重复消息问题。

Kafka生产者事务

1. 开启事务：
   在生产者配置中，通过设置transactional.id属性来启用事务功能。生产者会维护一个跨越多个消息和多个分区的事务上下文。

   Properties props = new Properties();
   props.put("bootstrap.servers", "localhost:9092");
   props.put("transactional.id", "my-transactional-producer-id");
   props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
   props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
   
   KafkaProducer<String, String> producer = new KafkaProducer<>(props);
   

2. 开始事务：
   通过调用beginTransaction()方法开始一个新的事务。

   producer.initTransactions();
   producer.beginTransaction();
   

3. 发送事务消息：
   在事务范围内，你可以发送任意数量的消息到任何主题和分区。

   ProducerRecord<String, String> record1 = new ProducerRecord<>("topic1", "key1", "value1");
   producer.send(record1);
   
   ProducerRecord<String, String> record2 = new ProducerRecord<>("topic2", "key2", "value2");
   producer.send(record2);
   

4. 提交或中止事务：
   在所有消息发送成功后，调用commitTransaction()提交事务，确保消息被永久写入；若遇到错误，调用abortTransaction()则会回滚事务，取消已发送的消息。

   try {
       producer.commitTransaction();
   } catch (KafkaException e) {
       producer.abortTransaction();
   }
   

生产者幂等性

1. 开启幂等性：
   通过在生产者配置中设置enable.idempotence=true启用幂等性功能。启用后，生产者会保证在单个会话期间，在相同的ProducerId和SequenceNumber下，即使消息重复发送，Kafka也会只保留一条。

   props.put("enable.idempotence", true);
   

2. 使用幂等性发送消息：
   启用幂等性后，每次发送消息的操作都会得到一个唯一的序列号，相同的消息即使在网络抖动或其他原因导致重试的情况下也不会被重复写入。

注意事项：

• 生产者事务和幂等性都需要Kafka集群的支持，并且可能会影响整体性能，因为它们增加了额外的开销，如需要更强的一致性保障和额外的内部记录管理。
• 幂等性仅在单个会话（即生产者实例生命周期）内有效，一旦生产者实例关闭或崩溃并重新创建，新的实例会有新的ProducerId，此时幂等性不再有效。
• 生产者事务可以跨多个分区和主题保证原子性，而幂等性主要是针对单个消息而言的。在事务中，幂等性通常也会被启用以确保即使事务重试，消息也不会重复。