kafka开启kerberos

最新推荐文章于 2024-09-18 16:57:16 发布
最新推荐文章于 2024-09-18 16:57:16 发布
阅读量1.1k 收藏 8
点赞数 21
文章标签： debian 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haoxiaoyan/article/details/141257568
版权

一、基本环境准备

  1. 创建票据创建Kerberos主体（Principal）：

使用kadmin.local或kadmin命令为Zookeeper和Kafka服务创建Kerberos主体。例如：

注意有几台机器创建几个

kadmin.local -q "addprinc -randkey zookeeper/dshieldcdh01@HADOOP139.COM"

kadmin.local -q "addprinc -randkey zookeeper/dshieldcdh02@HADOOP139.COM" 

kadmin.local -q "addprinc -randkey zookeeper/dshieldcdh03@HADOOP139.COM"  

kadmin.local -q "addprinc -randkey kafka/dshieldcdh01@HADOOP139.COM"

kadmin.local -q "addprinc -randkey kafka/dshieldcdh02@HADOOP139.COM"

kadmin.local -q "addprinc -randkey kafka/dshieldcdh03@HADOOP139.COM"

  1. 验证主体是否创建成功

kadmin.local -q "listprincs"

[root@dshieldcdh02 ~]#  kadmin.local -q "listprincs"

Authenticating as principal root/admin@HADOOP139.COM with password.

K/M@HADOOP139.COM

host/dshieldcdh01@HADOOP139.COM

host/dshieldcdh02@HADOOP139.COM

kadmin/admin@HADOOP139.COM

kadmin/changepw@HADOOP139.COM

kadmin/dshieldcdh02@HADOOP139.COM

kafka/dshieldcdh01@HADOOP139.COM

kafka/dshieldcdh02@HADOOP139.COM

kafka/dshieldcdh03@HADOOP139.COM

kiprop/dshieldcdh02@HADOOP139.COM

krbtgt/HADOOP139.COM@HADOOP139.COM

root/admin@HADOOP139.COM

zookeeper/dshieldcdh01@HADOOP139.COM

zookeeper/dshieldcdh02@HADOOP139.COM

zookeeper/dshieldcdh03@HADOOP139.COM

  1. 创建keytab

mkdir /etc/security/keytabs/

kadmin.local -q "xst -k /etc/security/keytabs/kafka.keytab kafka/dshieldcdh01@HADOOP139.COM"

kadmin.local -q "xst -k /etc/security/keytabs/kafka.keytab kafka/dshieldcdh02@HADOOP139.COM"

kadmin.local -q "xst -k /etc/security/keytabs/kafka.keytab kafka/dshieldcdh03@HADOOP139.COM"

  1. 验证KeyTab文件内容：

klist -kt /etc/security/keytabs/zookeeper.keytab 

klist -kt /etc/security/keytabs/kafka.keytab

kinit -kt /etc/security/keytabs/zookeeper.keytab zookeeper/dshieldcdh02@HADOOP139.COM

  1. 将keytab文件拷贝到其他两天zookeeper上,需要将keytab文件拷贝过去才可以使用

scp  /etc/security/keytabs/*keytab root@dshieldcdh01:/etc/security/keytabs/                                                                                                                                                                

scp  /etc/security/keytabs/*keytab root@dshieldcdh03:/etc/security/keytabs/

  1. 在其他机器上验证keytab文件可用

kinit -kt /etc/security/keytabs/zookeeper.keytab zookeeper/dshieldcdh01@HADOOP139.COM

二、Zookeeper配置Kerberos

  1. 配置Zookeeper的JAAS文件：

在Zookeeper的配置目录下创建JAAS配置文件（如zookeeper_jaas.conf），内容如下：

java

Server { 

  com.sun.security.auth.module.Krb5LoginModule required 

  useKeyTab=true 

  storeKey=true 

  keyTab="/etc/security/keytabs/zookeeper.keytab" 

  principal="zookeeper/dshieldcdh01@HADOOP139.COM" 

  useTicketCache=false; 

}; 

Client { 

  com.sun.security.auth.module.Krb5LoginModule required 

  useKeyTab=true 

  storeKey=true 

  keyTab="/etc/security/keytabs/zookeeper.keytab" 

  principal="zookeeper/dshieldcdh01@HADOOP139.COM" 

  useTicketCache=false; 

};

注意修改principal和keyTab路径以匹配实际环境。

在Zookeeper的启动脚本中添加JVM参数，指定JAAS配置文件的路径。

配置zookeeper的kerberos验证，切换到配置文件目录下cd conf，添加zoo.cfg配置文件，cp zoo_sample.cfg zoo.cfg打开zoo.cfg配置文件，添加配置，修改Zookeeper的配置文件cat zoo.cfg 启用SASL认证，并指定认证提供者。

authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider

jaasLoginRenew=3600000

kerberos.removeHostFromPrincipal=true

kerberos.removeRealmFromPrincipal=true

export JVMFLAGS="-Djava.security.auth.login.config= /usr/local/apache-zookeeper-3.6.4/conf/zookeeper_jaas.conf"

scp /usr/local/apache-zookeeper-3.6.4/conf/zookeeper_jaas.conf root@dshieldcdh02:/usr/local/apache-zookeeper-3.6.4/conf     

scp /usr/local/apache-zookeeper-3.6.4/conf/zookeeper_jaas.conf root@dshieldcdh03:/usr/local/apache-zookeeper-3.6.4/conf

[root@dshieldcdh03 ~]# cat /usr/local/apache-zookeeper-3.6.4/conf/zookeeper_jaas.conf

Server {

com.sun.security.auth.module.Krb5LoginModule required

useKeyTab=true

storeKey=true

useTicketCache=false

keyTab="/etc/security/keytabs/zookeeper.keytab"

principal="zookeeper/dshieldcdh03@HADOOP139.COM";

};

cat /usr/local/apache-zookeeper-3.6.4/conf/zookeeper_client_jaas.conf

Client {

com.sun.security.auth.module.Krb5LoginModule required

useKeyTab=true

storeKey=true

useTicketCache=false

keyTab="/usr/local/apacje-zookeeper-3.6.4/conf/zk.service.keytab"

principal="zookeeper/dshieldcdh03@HADOOP139.COM";

};

三、Kafka配置Kerberos

将kafka用户的keytab文件拷贝到其他服务器上

scp /etc/security/keytabs/kafka.keytab root@ dshieldcdh02:/etc/security/keytabs/kafka.keytab

配置Kafka的JAAS文件：

在Kafka的配置目录下创建JAAS配置文件（如kafka_client_jaas.conf），内容如下：

kafka_client_jaas.conf

KafkaServer {

        com.sun.security.auth.module.Krb5LoginModule required

        useKeyTab=true

        keyTab="/etc/security/keytabs/kafka.keytab"

        storeKey=true

        useTicketCache=false

        serviceName="kafka"

        principal="kafka/dshieldcdh01@HADOOP139.COM";

        };

        KafkaClient {

        com.sun.security.auth.module.Krb5LoginModule required

        useKeyTab=true

        keyTab="/etc/security/keytabs/kafka.keytab"

        storeKey=true

        useTicketCache=false

        serviceName="kafka"

        principal="kafka/dshieldcdh01@HADOOP139.COM";

        };

        Client {

        com.sun.security.auth.module.Krb5LoginModule required

        useKeyTab=true

        keyTab="/etc/security/keytabs/zookeeper.keytab"

        storeKey=true

        useTicketCache=false

        serviceName="zookeeper"

        principal=" zookeeper/dshieldcdh01@HADOOP139.COM";

        };

        com.sun.security.jgss.krb5.initiate {

        com.sun.security.auth.module.Krb5LoginModule required

        renewTGT=false

        doNotPrompt=true

        useKeyTab=true

        keyTab="/etc/security/keytabs/kafka.keytab"

        storeKey=true

        useTicketCache=false

        serviceName="kafka"

        principal="kafka/dshieldcdh01@HADOOP139.COM";

        };

kafka_server_jaas.conf

KafkaServer {

        com.sun.security.auth.module.Krb5LoginModule required

        useKeyTab=true

        keyTab="/etc/security/keytabs/kafka.keytab"

        storeKey=true

        useTicketCache=false

        serviceName="kafka"

        principal="kafka/dshieldcdh01@HADOOP139.COM";

        };

        KafkaClient {

        com.sun.security.auth.module.Krb5LoginModule required

        useKeyTab=true

        keyTab="/etc/security/keytabs/kafka.keytab"

        storeKey=true

        useTicketCache=false

        serviceName="kafka"

        principal="kafka/dshieldcdh01@HADOOP139.COM";

        };

        Client {

        com.sun.security.auth.module.Krb5LoginModule required

        useKeyTab=true

        keyTab="/etc/security/keytabs/zookeeper.keytab"

        storeKey=true

        useTicketCache=false

        serviceName="zookeeper"

        principal=" zookeeper/dshieldcdh01@HADOOP139.COM";

        };

        com.sun.security.jgss.krb5.initiate {

        com.sun.security.auth.module.Krb5LoginModule required

        renewTGT=false

        doNotPrompt=true

        useKeyTab=true

        keyTab="/etc/security/keytabs/kafka.keytab"

        storeKey=true

        useTicketCache=false

        serviceName="kafka"

        principal="kafka/dshieldcdh01@HADOOP139.COM";

        };

注意修改principal、keyTab路径和serviceName以匹配实际环境。

修改Kafka的启动脚本：

在Kafka的启动脚本中添加JVM参数，指定JAAS配置文件的路径。

cat kafka_client_jaas.conf

kafkaClient {

        com.sun.security.auth.module.Krb5LoginModule required

        useKeyTab=true

storeKey=true

serviceName=kafka

        keyTab="/etc/security/keytabs/kafka.keytab"

        principal="kafka/dshieldcdh01@HADOOP139.COM";

};

cat server.properties

broker.id=1

hostname=dshieldcdh01

listerners=SASL_PLAINTEXT://dshieldcdh01:9092

security.inter.broker.protocol=SASL_PLAINTEXT

sasl.mechanism.inter.broker.protocol=GSSAPI

sasl.enabled.mechanisms= GSSAPI

sasl.kerberos.service.name=kaka

zookeeper.connect=dshieldcdh01:2181, dshieldcdh02:2181, dshieldcdh03:2181

zookeeper.set.acl=true

zookeeper.connection.timeout.ms=18000

[kafka@dshieldcdh01 config]$ pwd

/usr/local/kafka/config

[kafka@dshieldcdh01 config]$ scp kafka_jaas.conf dshieldcdh02:/usr/local/kafka/config

scp kafka_jaas.conf dshieldcdh03:/usr/local/kafka/config

#kerberos

listeners=SASL_PLAINTEXT://ambarim2:9092

advertised.listeners=SASL_PLAINTEXT://ambarim2:9092

security.inter.broker.protocol=SASL_PLAINTEXT

sasl.mechanism.inter.broker.protocol=GSSAPI

principal.to.local.class=kafka.security.auth.KerberosPrincipalToLocal

isasl.enabled.mechanisms=GSSAPI

zookeeper.connect=dshieldcdh01:2181,dshieldcdh02:2181,dshieldcdh03:2181

蘑菇丁
关注
kafka 配置kerberos安全认证
01-28
这个里面是kafka配置kerberos的详细步骤，其方式也可以应用到kafka自带的认证体系
kafka集群单独开启kerberos详细步骤
sunxunyong的博客
07-01 679
Kafka 2.8新特性可以不使用zk。使用自我管理的仲裁机制。增加describe集群的API。支持SASL、SSL双向TLS身份认证。根据IP，限制broker connection的创建速率。JDK 1.8zookeeper（可以使用DP的zk，但需指定zk的namespace，避免跟DP的kafka冲突。
CDP-Kafka开启Kerberos
非晚の的博客
06-22 692
CDP-Kafka开启Kerberos
为kafka开启kerberos
bennuo2431的博客
07-20 434
主节点安装 yum -y install krb5-server krb5-libs krb5-auth-dialog krb5-workstation cat /etc/krb5.conf Configuration snippets may be placed in this directory as well includedir /etc/krb5.conf.d/ [logging] ...
Kafka集成Kerberos
m0_47139984的博客
03-06 1195
Kafka集成Kerberos
Kafka配置Kerberos安全认证及与Java程序集成
on the way . . .
01-12 2653
本文主要介绍在 Kafka 中如何配置 Kerberos 认证，以及 java 使用 JAAS 来进行 Kerberos 认证连接。
【kafka开启kerberos认证-服务端和客户端的交互过程】
weixin_44435562的博客
11-14 356
kafka对接kerberos组件实现客户端用户身份认证，则该认证流程是怎样的？接下来做简要分析。。。以上内容主要介绍了当kafka开启kerberos认证之后，客户端与服务端是如何交互的。
【Kafka-Kerberos下执行shell命令】Kafka在Kerberos环境下如何操作shell命令
weixin_53543905的博客
04-12 651
当大数据集群部署了 Kerberos 认证操作之后，在服务器上操作 kafka shell 命令就会出现认证相关的异常，如：未配置 jaas.conf 导致的异常：未指定 client.properties 配置文件导致的超时：所以需要我们进行相关认证操作才可以正常执行 kafka shell。【Kafka-Kerberos下执行shell命令】Kafka在Kerberos环境下如何操作shell命令
kafka开启kerberos认证后如何连接zookeeper
07-08
在 Kafka 开启了 Kerberos 认证后，连接 ZooKeeper 需要进行以下步骤： 1. 配置 Kafka 服务器以使用 Kerberos 认证。在 Kafka 配置文件（通常是 `server.properties`）中，添加以下属性： ``` listeners=SASL_...
单机 kafka 配置 kerberos，设置 ACL 权限
10-10
kafka 配置 kerberos，设置 ACL权限， java 客户端连接。
Python confluent kafka客户端配置kerberos认证流程详解
01-19
其中第一种SASL/GSSAPI的认证就是kerberos认证，对于java来说有原生的支持，但是对于python来说配置稍微麻烦一些，下面说一下具体的配置过程，confluent kafka模块底层依赖于librdkafka，这是使用c编写的高性能的...
【kafka】kerberos Server not found in Kerberos database LOOKING_UP_SERVER Identifier doesn‘t match
九师兄
01-09 3476
【kafka】kerberos认证下 kafka 报错Bootstrap broker host:ip (id: -1 rack: null) disconnected，然后我想在本地消费试试。
kafka开启kerberos和ACL
07-16 640
作者：恩慈。
Kafka开启kerberos安装与验证（2）
Tu_maimes
02-08 753
1、Kafka 开启ACL 1.1 开启acl认证 在kafka中server.properties文件中添加如下配置： # 配置kafka中对权限的认证 authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer # 配置kafka认证的超级管理员 super.users=User:kafka 修改整个集群中的配置文件后，滚动重启kafka集群。 2、设置Kafka主题Acl权限 2.1 查看现有的认证主体 列出的认证主体中有我们之前添加的
Kerberos安全认证-连载12-Kafka Kerberos安全配置及访问
qq_32020645的博客
06-22 4354
技术连载系列，前面内容请参考前面连载11内容:​​​​​​​​​​​​​​Kafka也支持通过Kerberos进行认证，避免非法用户操作读取Kafka中的数据，对Kafka进行Kerberos认证可以按照如下步骤实现。在kerberos服务端node1节点执行如下命令将Kafka服务主体写入到keytab文件。
大数据之Kerberos认证与kafka开启Kerberos配置
m0_46168848的博客
08-06 7463
​Kerberos 是一种计算机网络认证协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。.........
带有Kerberos认证的Kafka
weixin_45759901的博客
04-12 637
带有Kerberos认证的Kafka 对topic的增删查，生产者消费者的命令 1.需要刷新为Kafka用户进行Kerberos认证 cd /etc/security/keytabs/ [root@bigdata-hadoop-data--1 keytabs]# klist -kt kafka.service.keytab Keytab name: FILE:kafka.service.keytab KVNO Timestamp Principal ---- -----------
Red Hat 和 Debian Linux 对比
最新发布
yudiandian2014的专栏
09-18 1072
Red Hat 和 Debian Linux 对比
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值