Kafka开启kerberos安装与验证（1）

最新推荐文章于 2024-05-14 10:36:34 发布
最新推荐文章于 2024-05-14 10:36:34 发布
阅读量2.5k 收藏 13
点赞数 1
分类专栏： 大数据平台 Kafka 文章标签： kafka kerberos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41609807/article/details/113738411
版权

1、环境准备

1、java version “1.8.0_131”
2、zookeeper-3.4.12
3、kafka-2.12-2.3.1
4、基于本人的另外两篇博客已安装kerberos与Zookeeper
kafka的安装建议通过百度一下相关教程很多，本文就不在论述。

2、kafkaServer端开启kerberos

2.1 添加认证主体

[root@henghe-01 data] kadmin.local
kadmin.local>addprinc -randkey kafka/henghe-01@HADOOP.COM
kadmin.local>addprinc -randkey kafka/henghe-02@HADOOP.COM
kadmin.local>addprinc -randkey kafka/henghe-03@HADOOP.COM
kadmin.local:  list_principals
K/M@HADOOP.COM
admin/admin@HADOOP.COM
kadmin/admin@HADOOP.COM
kadmin/changepw@HADOOP.COM
kadmin/henghe-01@HADOOP.COM
kafka/henghe-01@HADOOP.COM
kafka/henghe-02@HADOOP.COM
kafka/henghe-03@HADOOP.COM
kiprop/henghe-01@HADOOP.COM
krbtgt/HADOOP.COM@HADOOP.COM
test/test@HADOOP.COM
zookeeper/henghe-01@HADOOP.COM
zookeeper/henghe-02@HADOOP.COM
zookeeper/henghe-03@HADOOP.COM
zookeeper@HADOOP.COM
kadmin.local>xst -k kafka.keytab kafka/henghe-01@HADOOP.COM
kadmin.local>xst -k kafka.keytab kafka/henghe-02@HADOOP.COM
kadmin.local>xst -k kafka.keytab kafka/henghe-03@HADOOP.COM
kadmin.local>exit

操作成功后将导出的kafka.keytab通过scp命令拷贝到对应的kafka安装目录下的config目录下。

scp kafka.keytab root@henghe-01:"$KAFKA_HOME/config"
scp kafka.keytab root@henghe-02:"$KAFKA_HOME/config"
scp kafka.keytab root@henghe-03:"$KAFKA_HOME/config"

2.2 配置kakfa_server_jaas.conf文件

在$KAFKA_HOME/config创建kakfa_server_jaas.conf文件。principal的认证主体针对不同的节点使用对应的节点配置信息。具体的配置信息如下所示：

# henghe-01
KafkaServer {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    storeKey=true
    keyTab="/data/kafka/config/kafka.keytab"
    principal="kafka/henghe-01@HADOOP.COM";  
};
Client {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    storeKey=true
    keyTab="/data/kafka/config/kafka.keytab"
  principal="kafka/henghe-01@HADOOP.COM";
};

KafkaClient {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    storeKey=true
    keyTab="/data/kafka/config/kafka.keytab"
  principal="kafka/henghe-01@HADOOP.COM";
};

# henghe-02
KafkaServer {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    storeKey=true
    keyTab="/data/kafka/config/kafka.keytab"
    principal="kafka/henghe-02@HADOOP.COM";  
};
Client {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    storeKey=true
    keyTab="/data/kafka/config/kafka.keytab"
  principal="kafka/henghe-02@HADOOP.COM";
};

KafkaClient {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    storeKey=true
    keyTab="/data/kafka/config/kafka.keytab"
  principal="kafka/henghe-02@HADOOP.COM";
};

# henghe-03
KafkaServer {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    storeKey=true
    keyTab="/data/kafka/config/kafka.keytab"
    principal="kafka/henghe-03@HADOOP.COM";  
};
Client {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    storeKey=true
    keyTab="/data/kafka/config/kafka.keytab"
  principal="kafka/henghe-03@HADOOP.COM";
};

KafkaClient {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    storeKey=true
    keyTab="/data/kafka/config/kafka.keytab"
  principal="kafka/henghe-03@HADOOP.COM";
};
  1. KakfaServer配置代表了kafka集群中Server彼此间通信所使用的通信认证方式。
  2. Client配置代表了kafka集群中Server与Zookeeper通信时的认证方式。
  3. KafkaClient配置代表了命令行客户端与kafka集群通信时的认证方式。

2.3 修改kafka-run-class.sh文件

为了其他一些服务的正常使用需要调用Kakfa服务的相应功能，而当Kafka与Kerbers集成后，该调用过程同样需要增加一步认证过程，而该过程的实现是将Kafka服务作为sever端，其他需要调用Kafka的服务作为client端，因此需要引入一个JVM机制。
在部署的kakfa集群中$KAFKA_HOME/bin/kafka-run-class.sh文件。在kafka-run-class.sh文件中找到KAKFA_JVM_PERFORMANCE_OPTS,并增加两个JVM参数：

-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/data/kafka/config/kafka_server_jaas.conf

2.4 创建生产者端配置文件console-producer.properties

security.protocol=SASL_PLAINTEXT
sasl.kerberos.service.name=kafka
sasl.mechanism=GSSAPI

2.5 创建消费者端配置文件console-consumer.properties

security.protocol=SASL_PLAINTEXT
sasl.kerberos.service.name=kafka
sasl.mechanism=GSSAPI

2.6 修改Kafka Server配置文件

开启Kerberos服务，需要在配置文件中开启相应的配置项。修改server.properties文件，确保配置项的值如下：

listeners=SASL_PLAINTEXT://henghe-01:9092
security.inter.broker.protocol = SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol = GSSAPI
sasl.enabled.mechanisms = GSSAPI
sasl.kerberos.service.name = kafka

2.7 启动Kafka Server

启动kafka之前确保Zookeeper集群已启动。
启动指令：

$KAFKA_HOME/bin/kafka-server-start.sh -daemon start $KAFKA_HOME/config/server.properties

观察启动日志可以发现，权限认证已成功通过并登陆。
在这里插入图片描述
在这里插入图片描述

3、测试kerbers权限认证

3.1通过命令后创建测试主题测试权限

# 创建kafka topic
bin/kafka-topics.sh --create --zookeeper henghe-02:2181 --replication-factor 3 --partitions 5 --topic test-topic

3.2通过命令后创建测试主题测试权限

# 启动生产者并发送数据
bin/kafka-console-producer.sh --topic test-topic1 --broker-list henghe-02:9092 --producer.config config/console-producer.properties
#启动消费者消费发送的数据
bin/kafka-console-consumer.sh --bootstrap-server henghe-01:9092 --topic test-topic1 --from-beginning --consumer.config config/console-comsumer.properties

通过测试相关认证成功并生成与消费数据
在这里插入图片描述
在运行时不携带相关参数权限认证参数时将无法连接到集群。
在这里插入图片描述

3.3 java编程测试权限

kafka开启Kerberos安全认证Java编程生成者与消费组示例

扩展阅读

聆听金生
关注
  • 1
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
专栏目录
kafka+kerberos+sasl安装部署手册
03-02
kafka+kerberos+sasl安装部署手册，带kerberos认证方式的安装部署手册
单机 kafka 配置 kerberos，设置 ACL 权限
10-10
kafka 配置 kerberos，设置 ACL权限， java 客户端连接。
Kafka配置kerberos安全认证
weixin_39060974的博客
03-07 7531
1.在kerberos管理节点的root用户下分别执行以下命令 addprinc-randkeykafka/nyyjh2@EXAMPLE.COM addprinc-randkeykafka/nyyjh3@EXAMPLE.COM addprinc-randkeykafka/nyyjh4@EXAMPLE.COM addprinc-randkeyzookeeper/nyyjh2@EXAMPLE.COM addprinc-randkeyzookeeper/nyyjh3@EXAMPLE.CO...
Kafka集成Kerberos
m0_47139984的博客
03-06 1154
Kafka集成Kerberos
Kafka常用命令大全及kafka-console-consumer.sh及参数说明
最新发布
数据知道的博客
05-14 4671
1、kafka-acls.sh #配置，查看kafka集群鉴权信息2、kafka-configs.sh #查看，修改kafka配置3、kafka-console-consumer.sh #消费命令4、kafka-console-producer.sh #生产命令5、kafka-consumer-groups.sh #查看消费者组，重置消费位点等6、kafka-consumer-perf-test.sh #kafka自带消费性能测试命令。
深度解析Kafka kerberos认证
justchnmm的博客
03-29 8575
Kafka kerberos动态认证及静态认证过程
kafka实战kerberos（笔记
qq_44912603的博客
12-23 511
环境 版本：kafka_2.12-2.3.0 主机名：orchome LSB Version: :core-4.1-amd64:core-4.1-noarch Distributor ID: CentOS Description: CentOS Linux release 7.5.1804 (Core) Release: 7.5.1804 Codename: Core Linux version 3.10.0-862.el7.x86_64 (builder@kbuilder.dev.centos.org)
Kafka开启kerberos安装与验证（2）
Tu_maimes
02-08 733
1、Kafka 开启ACL 1.1 开启acl认证 在kafka中server.properties文件中添加如下配置： # 配置kafka中对权限的认证 authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer # 配置kafka认证的超级管理员 super.users=User:kafka 修改整个集群中的配置文件后，滚动重启kafka集群。 2、设置Kafka主题Acl权限 2.1 查看现有的认证主体 列出的认证主体中有我们之前添加的
kafka 配置kerberos安全认证
01-28
这个里面是kafka配置kerberos的详细步骤，其方式也可以应用到kafka自带的认证体系
Python confluent kafka客户端配置kerberos认证流程详解
01-19
其中第一种SASL/GSSAPI的认证就是kerberos认证，对于java来说有原生的支持，但是对于python来说配置稍微麻烦一些，下面说一下具体的配置过程，confluent kafka模块底层依赖于librdkafka，这是使用c编写的高性能的...
java实现flink订阅Kerberos认证的Kafka消息示例源码
04-16
本文将深入探讨这一主题，介绍如何利用Apache Flink与Kafka的集成，以及如何通过Kerberos进行身份验证。 首先，Apache Flink是一个强大的开源流处理框架，它提供了对实时数据流的强大处理能力。而Kafka是一个分布式...
kafka 0.10.2.2配置kerberos
catcher92的博客
01-30 3001
公司最新需要新搭建一套带kerberos的kafka集群，kerberos已经有别的团队搭建完成，此文章只记录kafka配置kerberos的部分。 在kerberos配置kafka用户 # 创建kafka/hadoop03用户 kadmin.local -q "addprinc -randkey kafka/hadoop03" # 导出keytab文件 kadmin.local -q "...
编写kafka认证kerberos
weixin_35748962的博客
01-03 354
首先，您需要在您的Kafka集群上安装Kerberos服务器和客户端。具体来说，您可以在每台Kafka服务器上安装Kerberos客户端，并在某台服务器上安装Kerberos服务器。接下来，您需要配置Kafka使用Kerberos认证。在Kafka的配置文件中，您需要设置以下属性： sasl.kerberos.service.name: 这是Kafka服务的Kerberos服务名称，通常为"ka...
【可视化工具】kafka-manager配置及安装Kerberos(Ambari-HDP)认证
康师傅没有眼泪
03-20 2380
为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager（已改名为 cmak）。 这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。
kafka集群开启SASL/Kerberos安全认证
shy_snow的专栏
06-30 2931
Kafka使用JAAS（Java认证和授权服务）进行SASL(基于网络连接的安全认证机制)配置。 通过三个步骤即可实现JAAS安全认证: (1) 配置jaas相关信息 (2) 开启SASL/Kerberos认证 (3) 通过脚本将配置信息传递给java虚拟机,这样java的JAAS服务才能根据配置进行认证和授权服务。 不论是zookeeper集群还是kafka集群都是如此。 .........
Kafka常用命令之kafka-console-consumer.sh
热门推荐
Ernest
04-06 12万+
  kafka-console-consumer.sh 脚本是一个简单的控制台 Consumer。此脚本的功能通过调用 ConsoleConsumer 实现。
java kerberos配置_kafka-producer kerberos 原理和配置
weixin_32214771的博客
02-16 824
kerberos简单介绍kerberos这一名词来源于希腊神话“三个头的狗---地狱之门守护者”后来沿用作为安全认证的概念，该系统设计上采用客户端/服务器结构与DES(Data Encryption Standard标准加密技术)，AES(Advanced Encryption Standerd高级加密技术)等加密技术，并且能够进行相互认证，即客户端和服务端均可对对方进行身份认证。可以防止窃听、防...
kafka监控命令kafka-run-class.sh查看消费了多少条数据
小强签名设计 的博客
06-28 4万+
kafka自带了很多工具类，在源码kafka.tools里可以看到： 源码包下载地址：http://archive.apache.org/dist/kafka/ 这些类该如何使用呢，kafka的设计者早就为我们考虑到了，在${KAFKA_HOME}/bin下，有很多的脚本，其中有一个kafka-run-class.sh，通过这个脚本，可以调用其中的tools的部分功能，如调用kafk...
[Kafka错误]------使用Kafka的kafka-console-consumer.sh不能消费消息
每天进步一点点
03-20 1万+
1.前言 使用Ambari搭建的kafka集群，在使用kafka-console-producer.sh的时候，指定--broker-list的值需要从server.properties中查看listeners=PLAINTEXT://的值。同理，使用kafka-console-consumer.sh的时候，指定--bootstrap-server也需要从server.properties中查看......
kafka开启kerberos认证后如何连接zookeeper
07-08
在 Kafka 开启了 Kerberos 认证后，连接 ZooKeeper 需要进行以下步骤： 1. 配置 Kafka 服务器以使用 Kerberos 认证。在 Kafka 配置文件（通常是 `server.properties`）中，添加以下属性： ``` listeners=SASL_PLAINTEXT://<Kafka_server_host>:<Kafka_server_port> security.inter.broker.protocol=SASL_PLAINTEXT sasl.mechanism.inter.broker.protocol=GSSAPI sasl.kerberos.service.name=kafka ``` 2. 配置 ZooKeeper 服务器以支持 Kerberos 认证。在 ZooKeeper 配置文件（通常是 `zoo.cfg`）中，添加以下属性： ``` authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider requireClientAuthScheme=sasl jaasLoginRenew=3600000 jaasLoginRefresh=3600000 ``` 3. 生成 Kafka 和 ZooKeeper 的 Kerberos Keytab 文件。Keytab 文件包含了用于服务认证的凭证信息。可以使用 `kadmin` 命令行工具生成 Keytab 文件。 4. 在 Kafka 服务器上配置 Kerberos 客户端。将 Kafka 和 ZooKeeper 相关的 Keytab 文件分发到 Kafka 服务器上，并配置 Kerberos 客户端以使用这些文件。 5. 启动 Kafka 服务器和 ZooKeeper 服务器。确保 Kafka 服务器和 ZooKeeper 服务器都已正确配置并启动。 6. 使用 Kafka 客户端连接到 ZooKeeper。在代码中，使用适当的配置和认证信息创建 Kafka 客户端，并指定 ZooKeeper 的连接字符串，例如： ```java Properties props = new Properties(); props.put("bootstrap.servers", "<Kafka_server_host>:<Kafka_server_port>"); props.put("security.protocol", "SASL_PLAINTEXT"); props.put("sasl.kerberos.service.name", "kafka"); props.put("group.id", "<consumer_group_id>"); KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props); consumer.subscribe(Arrays.asList("<topic_name>")); while (true) { ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100)); // 处理消费记录 } ``` 请注意，上述步骤是一个基本的指南，实际操作中可能会有其他配置和设置需求。详细的步骤和配置可以参考 Kafka 和 ZooKeeper 的官方文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值