kafka 3.x 配置kerbos

1、kerbors主体配置

生成主体：

for i in {01..11}; do kadmin.local -q "addprinc -randkey kafka/hadoop$i.EX AMPLE.COM@EX AMPLE.COM"; done

导出主体

for i in {01..11}; do kadmin.local -q "xst  -k kafka.keytab  kafka/hadoop$i.EX AMPLE.COM@EX AMPLE.COM"; done

2、kafka server kerbos配置

2.1 准备 server-kerberos.properties 文件。 拷贝 Kafka config 目录下（如果使用自带zk，配置从/BigData/run/kafka/config/kraft/进行拷贝，下同）的 server.properties 文件，命名为 kerberos-server.properties ，编辑认证配置相关的内容

kerberos-server.properties

security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=GSSAPI
sasl.enabled.mechanisms=GSSAPI
sasl.kerberos.service.name=root

2.2 准备 server-jaas.conf 配置文件。 kerberos 目录下，创建文件 kafka-server-jaas.conf，编辑内容如下

KafkaServer {
   com.sun.security.auth.module.Krb5LoginModule required
   useKeyTab=true
   //不同的主机，需修改成不同的keytab文件
   keyTab="/BigData/run/kafka/config/kafka.keytab"
   storeKey=true
   useTicketCache=false
   // Kafka Server 在 KDC 中的用户名全称
   principal="kafka/hadoop01@EX AMPLE.COM";
};

2.3 准备 kafka-server-kerberos-start.sh 文件，添加 Kerberos 认证配置。 拷贝 bin/kafka-server-start.sh 脚本，命名为 kafka-server-kerberos-start.sh，编辑最后一行，在最后一行代码之前，添加 Krb5 环境变量和 jaas.conf 配置信息

export KAFKA_OPTS="-Dzookeeper.sasl.client=false -Dzookeeper.sasl.client.username=zk-server 
-Djava.security.krb5.conf=/etc/krb5.conf 
-Djava.security.auth.login.config=/BigData/run/kafka/config/kafka-server-jaas.conf"

3、kafka client kerbos配置

3.1 第一步，准备 client-kerberos.properties 文件。 拷贝 Kafka config 目录下的 consumer.properties 文件，命名为 client-kerberos.properties ，编辑认证配置相关的内容：

security.protocol=SASL_PLAINTEXT

sasl.mechanism=GSSAPI

sasl.kerberos.service.name=kafka

3.2 第二步，准备 client-jaas.conf 配置文件。 kerberos 目录下，创建文件 kafka-client-jaas.conf，编辑内容如下：

KafkaClient {
   com.sun.security.auth.module.Krb5LoginModule required
   useKeyTab=true
   //不同的主机，需修改成不同的keytab文件
   keyTab="/BigData/run/kafka/config/kafka.keytab"
   storeKey=true
   useTicketCache=false
   // Client 在KDC中的帐号
   principal="kafka@EXAMPLE.COM";
};

3.3 

第三步，准备 kafka-server-kerberos-start.sh 文件，添加 Kerberos 认证配置。 拷贝 bin/kafka-console-consumer.sh 脚本，命名为 kerberos-kafka-console-consumer.sh，编辑最后一行，在最后一行代码之前，添加 Krb5 环境变量和 jaas.conf 配置信息：

export KAFKA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf 
-Djava.security.auth.login.config=/BigData/run/kafka/config/kafka-client-jaas.conf"

4、启动服务

如果使用kafka自带zk，需要先启动zk

/BigData/run/kafka/bin/zookeeper-server-start.sh -daemon /BigData/run/kafka/config/zookeeper.properties

kafka server启动

kafka-server-kerberos-start.sh -daemon /BigData/run/kafka/config/kraft/kerberos-server.properties

kafka-console-consumer.sh --bootstrap-server hadoop04.EXAMPLE.CN:9092 --topic test123 --consumer.config=/BigData/run/kafka/config/kraft/client-kerberos.properties --from-beginning

kafka-console-producer.sh --broker-list hadoop04.EXAMPLE.CN:9092 --topic wujunjie --producer.config=/BigData/run/kafka/config/kraft/client-kerberos.properties

kafka-console-consumer.sh --bootstrap-server hadoop04.EXAMPLE.CN:9092 --topic wujunjie --consumer.config=/BigData/run/kafka/config/kraft/client-kerberos.properties --from-beginning

普通场景的启动服务和测试验证

bin/kafka-server-start.sh  config/kraft/server.properties

kafka-console-producer.sh --bootstrap-server hadoop04:9092 --topic test

kafka-console-consumer.sh --bootstrap-server hadoop04:9092 --topic test

相关问题1:

1、Only one of inter.broker.listener.name and security.inter.broker.protocol should be set.

inter.broker.listener.name或者 security.inter.broker.protocol配置一个就好，不要2个都配置

# Name of listener used for communication between brokers.
#inter.broker.listener.name=PLAINTEXT

保留security.inter.broker.protocol

2、java.lang.IllegalArgumentException: requirement failed: inter.broker.listener.name must be a listener name defined in advertised.listeners. The valid options based on currently configured listeners are PLAINTEXT

listeners=SASL_PLAINTEXT://hadoop04.EXAMPLE.COM:9092,CONTROLLER://hadoop04.EXAMPLE.COM:9093
advertised.listeners=SASL_PLAINTEXT://hadoop04.EXAMPLE.COM:9092

3、Caused by: javax.security.auth.login.LoginException: Could not login: the client is being asked for a password, but the Kafka client code does not currently support obtaining a password from the user. not available to garner  authentication information from the user

用户名和密码不匹配或者权限有问题

-rw-------. 1 root  root   7922 Aug  8 08:03 kafka.keytab

4、[2024-08-08 21:31:58,430] WARN [Producer clientId=console-producer] Bootstrap broker hadoop04.EXAMPLE.CN:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)

kinit -kt /BigData/run/kafka/config/kafka.keytab kafka/EXAMPLE.CN@EXAMPLE.CN