kafka 实战 - kafka自定义拦截器

Apache Kafka 中的自定义拦截器允许开发者在消息发送和接收的过程中插入自定义逻辑，以便实现诸如日志记录、消息格式转换、权限检查、字段过滤、消息修饰等扩展功能。以下是使用自定义拦截器的大致步骤和实战示例：

生产者拦截器（Producer Interceptors）

1. 创建自定义拦截器类：

   • 继承 org.apache.kafka.clients.producer.ProducerInterceptor<K, V> 类，其中 K 是键类型，V 是值类型。

   public class CustomProducerInterceptor<K, V> implements ProducerInterceptor<K, V> {
       // 实现必要方法
       @Override
       public ProducerRecord<K, V> onSend(ProducerRecord<K, V> record) {
           // 在消息发送前添加自定义逻辑
           return record;
       }
   
       @Override
       public void onAcknowledgement(RecordMetadata metadata, Exception exception) {
           // 在消息成功发送或发送失败后执行的操作
           if (exception == null) {
               // 记录日志、统计等
           } else {
               // 处理异常情况
           }
       }
   
       @Override
       public void close() {
           // 在生产者关闭时执行的清理工作
       }
   }
   

2. 注册自定义拦截器：

   • 在生产者的配置属性中指定自定义拦截器的全限定类名。

   Properties props = new Properties();
   props.put("bootstrap.servers", "localhost:9092");
   // 其他配置...
   props.put(ProducerConfig.INTERCEPTOR_CLASSES_CONFIG, "com.example.CustomProducerInterceptor");
   KafkaProducer<K, V> producer = new KafkaProducer<>(props);
   

消费者拦截器（Consumer Interceptors）

1. 创建自定义消费者拦截器类：

   • 继承 org.apache.kafka.clients.consumer.ConsumerInterceptor<K, V> 类。

   public class CustomConsumerInterceptor<K, V> implements ConsumerInterceptor<K, V> {
       // 实现必要方法
       @Override
       public ConsumerRecords<K, V> onConsume(ConsumerRecords<K, V> records) {
           // 在消息被消费者消费前添加自定义逻辑
           return records;
       }
   
       @Override
       public void onCommit(Map<TopicPartition, OffsetAndMetadata> offsets) {
           // 在消费者提交偏移量时执行的操作
       }
   
       @Override
       public void close() {
           // 在消费者关闭时执行的清理工作
       }
   }
   

2. 注册自定义消费者拦截器：

   • 同样，在消费者的配置属性中指定自定义拦截器的全限定类名。

   Properties props = new Properties();
   props.put("bootstrap.servers", "localhost:9092");
   props.put("group.id", "my-consumer-group");
   // 其他配置...
   props.put(ConsumerConfig.INTERCEPTOR_CLASSES_CONFIG, "com.example.CustomConsumerInterceptor");
   KafkaConsumer<K, V> consumer = new KafkaConsumer<>(props);
   

通过以上步骤，您可以自定义拦截器并在Kafka的实际应用中注入所需的额外功能。拦截器提供了一种强大的扩展手段，让您可以根据具体业务需求定制消息处理流程。