在需要 ClientId 鉴权的 Kafka 集群中，高效使用 Producer 和 Consumer 的方法

背景

在使用 Kafka 消息队列时，申请 Kafka 资源涉及 Topic 名称、分区数、ClientId 等参数。ClientId 在 Kafka 中主要用于标识和管理客户端应用程序，以及为监控、日志记录和资源管理提供支持。通过为每个客户端分配唯一的 ClientId，你可以更好地跟踪和管理 Kafka 集群中的各个客户端连接。然而在某些公司，ClientId 是用于鉴权和限流的，因此在使用 Kafka 时需要确保 ClientId 与申请 Topic 时的 ClientId 保持一致。这与一般的 Kafka 使用方式有所不同。在使用 spring-kafka 包和原生 kafka-clients 包的多线程环境下，固定的 ClientId 并不能满足需求，需要重写 spring-kafka 包的 ProducerFactory 和 ConsumerFactory，或者申请多个 ClientId。本文将讨论在使用 Kafka 时遇到的关于 ClientId 的问题以及建议的解决方法。

过程

大多数 Java 应用程序都集成了 Spring 框架，因此我们可以基于 Spring 定义生产者和消费者。

生产者

@Configuration
public class KafkaProducerConfig {
   
    @Bean
    public ProducerFactory<String, Object> producerFactory() {
   
        Map<String, Object> configProps = new HashMap<>();
        configProps.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        configProps.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        configProps.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        configProps.put(ProducerConfig.CLIENT_ID_CONFIG, "your-client-id");
        return new DefaultKafkaProducerFactory<>(configProps);
    }
    @Bean
    public KafkaTemplate<String, Object> kafkaTemplate() {
   
        return new KafkaTemplate<>(producerFactory());
    }
}

在需要发送消息的地方，我们注入 KafkaTemplate：

@Autowired
private KafkaTemplate<String, Object> kafkaTemplate;

void send(String message) {
   
  ProducerRecord<String, Object> record = new ProducerRecord<>("your-topic-name", message);
  kafkaTemplate.send(record);
}

然而，当服务启动并尝试发送消息时，发送不成功，出现以下错误：

org.springframework.kafka.KafkaException: Send failed; nested exception is org.apache.kafka.common.errors.TopicAuthorizationException: Not authorized to access topics: [your-topic-name]

错误信息提示鉴权失败。通过查看上下文：

INFO [kafka-producer-network-thread | your-client-id-1]

我们发现 ClientId 由 your-client-id 变成了 your-client-id-1，很明显这是由于第三方包做了手脚。通过查看源码：

发现在创建 Producer 时，会调用 getProducerConfigs 方法，该方法内部会对 ClientId 添加自增的后缀。为了解决这个问题，我们需要重写 DefaultKafkaProducer 的 getProducerConfigs 方法：

public class FixedClientIdKafkaProducerFactory extends DefaultKafkaProducerFactory {
   
    private