KAFKA console consumer和producer在开启kerberos的集群中使用

KAFKA console consumer和producer在开启kerberos的集群中使用

本文介绍在开启kerberos的集群中使用kafka客户端进行生产和消费。

• JAAS配置文件
• 配置环境变量
• 客户端属性文件，用于指定要使用的身份验证机制和使用者组

目录

---

JAAS配置文件

新建jaas.conf 文件vi jaas.conf

KafkaClient {
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
storeKey=true
serviceName=”kafka”
keyTab=”/absolute_path/to_your_keytab_file”
principal=”user@realm”;
};

或者如果你希望使用保留在票证缓存中的Kerberos票证，使用以下内容

KafkaClient {
com.sun.security.auth.module.Krb5LoginModule required
useTicketCache=true;
};

添加KAFKA_OPTS环境变量

export KAFKA_OPTS = “ - Djava.security.auth.login.config = / path_to_jaas_conf_file”

新建Client.Properties文件

vi client.Properties

security.protocol=SASL_PLAINTEXT
sasl.kerberos.service.name=kafka

Producer

如果您在JAAS中使用ticketCache方法，则需要先做一件事，即kinit。
kinit user @ realm

producer命令:

kafka-console-producer –broker-list <kafka_broker_server_hostname>:<port> topic <topic_name> –producer.config client.properties –security-protocol SASL_PLAINTEXT

consumer

kafka-console-consumer –bootstrap-server <kafka_broker_server_hostname>:<port> –topic <topic_name> –consumer.config client.properties

参考

http://www.irfanelahi.com/data-science/kafka-console-consumer-producer-kerberos-hadoop/