背景
在使用 Kafka 消息队列时,申请 Kafka 资源涉及 Topic 名称、分区数、ClientId 等参数。ClientId 在 Kafka 中主要用于标识和管理客户端应用程序,以及为监控、日志记录和资源管理提供支持。通过为每个客户端分配唯一的 ClientId,你可以更好地跟踪和管理 Kafka 集群中的各个客户端连接。然而在某些公司,ClientId 是用于鉴权和限流的,因此在使用 Kafka 时需要确保 ClientId 与申请 Topic 时的 ClientId 保持一致。这与一般的 Kafka 使用方式有所不同。在使用 spring-kafka 包和原生 kafka-clients 包的多线程环境下,固定的 ClientId 并不能满足需求,需要重写 spring-kafka 包的 ProducerFactory 和 ConsumerFactory,或者申请多个 ClientId。本文将讨论在使用 Kafka 时遇到的关于 ClientId 的问题以及建议的解决方法。
过程
大多数 Java 应用程序都集成了 Spring 框架,因此我们可以基于 Spring 定义生产者和消费者。
生产者
@Configuration
public class KafkaProducerConfig {
@Bean
public ProducerFactory<String, Object> producerFactory() {
Map<String, Object> configProps = new HashMap<>();
configProps.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
configProps.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
configProps.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
configProps.put(ProducerConfig.CLIENT_ID_CONFIG, "your-client-id");
return new DefaultKafkaProducerFactory<>(configProps);
}
@Bean
public KafkaTemplate<String, Object> kafkaTemplate() {
return new KafkaTemplate<>(producerFactory());
}
}
在需要发送消息的地方,我们注入 KafkaTemplate:
@Autowired
private KafkaTemplate<String, Object> kafkaTemplate;
void send(String message) {
ProducerRecord<String, Object> record = new ProducerRecord<>("your-topic-name", message);
kafkaTemplate.send(record);
}
然而,当服务启动并尝试发送消息时,发送不成功,出现以下错误:
org.springframework.kafka.KafkaException: Send failed; nested exception is org.apache.kafka.common.errors.TopicAuthorizationException: Not authorized to access topics: [your-topic-name]
错误信息提示鉴权失败。通过查看上下文:
INFO [kafka-producer-network-thread | your-client-id-1]
我们发现 ClientId 由 your-client-id 变成了 your-client-id-1,很明显这是由于第三方包做了手脚。通过查看源码:
发现在创建 Producer 时,会调用 getProducerConfigs 方法,该方法内部会对 ClientId 添加自增的后缀。为了解决这个问题,我们需要重写 DefaultKafkaProducer 的 getProducerConfigs 方法:
public class FixedClientIdKafkaProducerFactory extends DefaultKafkaProducerFactory {
private