kafka启用Kerberos认证

最新推荐文章于 2024-05-13 02:47:44 发布
最新推荐文章于 2024-05-13 02:47:44 发布
阅读量8.5k 收藏 18
点赞数 4
分类专栏： 大数据 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lxyygiuh/article/details/111871144
版权

kafka启用Kerberos认证

1.环境准备

1.1.建用户

创建用户组 ywjk groupadd ywjk
新增用户 useradd -g ywjk ywjk
设置密码 passwd ywjk
在这里插入图片描述

1.2.上传kafk压缩包

从官网下载kafka压缩包，这里用的是kafka_2.11-0.10.2.2.tgz
上传kafka压缩包，利用git客户端从windows客户端上传至每台linux主机，传至/home/ywjk目录下面

 scp -r ./kafka_2.11-0.10.2.2.tgz ywjk@192.168.1.96:/home/ywjk
 scp -r ./kafka_2.11-0.10.2.2.tgz ywjk@192.168.1.97:/home/ywjk
 scp -r ./kafka_2.11-0.10.2.2.tgz ywjk@192.168.1.98:/home/ywjk

Administrator@DESKTOP-QD6V450 MINGW64 /e/workspace/soft
$ ll
total 37160
-rw-r--r-- 1 Administrator 197121 38048170 12月 28 10:25 kafka_2.11-0.10.2.2.tgz

Administrator@DESKTOP-QD6V450 MINGW64 /e/workspace/soft
$ scp -r ./kafka_2.11-0.10.2.2.tgz ywjk@192.168.1.96:/home/ywjk
ywjk@192.168.1.96's password:
kafka_2.11-0.10.2.2.tgz                       100%   36MB   4.4MB/s   00:08

Administrator@DESKTOP-QD6V450 MINGW64 /e/workspace/soft
$ scp -r ./kafka_2.11-0.10.2.2.tgz ywjk@192.168.1.97:/home/ywjk
The authenticity of host '192.168.1.97 (192.168.1.97)' can't be established.
ECDSA key fingerprint is SHA256:4jriaM+47zOyv+In1m2ndnYAZt5sXfYHE2Wo9S7jEqE.
Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
Warning: Permanently added '192.168.1.97' (ECDSA) to the list of known hosts.
ywjk@192.168.1.97's password:
kafka_2.11-0.10.2.2.tgz                                                                                                                                                                                                                      100%   36MB   5.0MB/s   00:07

Administrator@DESKTOP-QD6V450 MINGW64 /e/workspace/soft
$ scp -r ./kafka_2.11-0.10.2.2.tgz ywjk@192.168.1.98:/home/ywjk
The authenticity of host '192.168.1.98 (192.168.1.98)' can't be established.
ECDSA key fingerprint is SHA256:sLwxbrt8Gq/43E2nW9q0iEwDJKuALl9cwFQrv3yCqxE.
Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
Warning: Permanently added '192.168.1.98' (ECDSA) to the list of known hosts.
ywjk@192.168.1.98's password:
kafka_2.11-0.10.2.2.tgz

在每台机器上面解压

tar -zvxf ./kafka_2.11-0.10.2.2.tgz

2.Kerbersoe安装
三台机器信息如下：
192.168.1.96 KDC Server hrxjb1.tcloudata.com
192.168.1.97 Client hrxjb2.tcloudata.com
192.168.1.98 Client hrxjb3.tcloudata.com
2.1.服务器安装
在KDC Server安装服务端
可以在这机器中192.168.1.96建立yum源，/etc/yum.repos.d/cdrom.repo 仓库配置如下:

[cdrom]
name=cdrom
baseurl=http://hrxjb1.tcloudata.com/centos
enabled=1
gpgcheck=0

yum -y install krb5-server krb5-libs krb5-workstation

在这里插入图片描述
会生成 kerberos配置文件

ll /var/kerberos/krb5kdc/

[ywjk@hrxjb1 root]$ ll /var/kerberos/krb5kdc/
total 24
-rw------- 1 root root   24 Dec 28 13:41 kadm5.acl
-rw------- 1 root root  451 Sep 30 21:21 kdc.conf
-rw------- 1 root root 8192 Dec 28 14:25 principal
-rw------- 1 root root 8192 Dec 28 13:42 principal.kadm5
-rw------- 1 root root    0 Dec 28 13:42 principal.kadm5.lock
-rw------- 1 root root    0 Dec 28 14:25 principal.ok

2.2.修改配置文件

2.2.1. krb5.conf

/etc/krb5.conf
把krb5.conf复制至其它客户端机器(192.168.1.97、192.168.1.98)

# Configuration snippets may be placed in this directory as well
includedir /etc/krb5.conf.d/
[logging]
 default = FILE:/var/log/krb5libs.log
 kdc = FILE:/var/log/krb5kdc.log
 admin_server = FILE:/var/log/kadmind.log
[libdefaults]
 dns_lookup_realm = false
 ticket_lifetime = 24h
 renew_lifetime = 7d
 forwardable = true
 rdns = false
 pkinit_anchors = FILE:/etc/pki/tls/certs/ca-bundle.crt
 default_realm = TCLOUDATA.COM
 default_ccache_name = KEYRING:persistent:%{uid}
[realms]
 TCLOUDATA.COM = {
  kdc = hrxjb1.tcloudata.com
  admin_server = hrxjb1.tcloudata.com 
 
[domain_realm]
 .tcloudata.com = TCLOUDATA.COM
 tcloudata.com = TCLOUDATA.COM

2.2.2. kadm5.acl

cat /var/kerberos/krb5kdc/kadm5.acl

[root@hrxjb1 ~]# cat /var/kerberos/krb5kdc/kadm5.acl
*/admin@TCLOUDATA.COM	*

配置说明
Kadm5.acl文件域名要跟 /etc/krb5.conf.d/中的 realms 配置节一致

2.2.3.初始化KDC数据库

kdb5_util create -r TCLOUDATA.COM -s

2.3.启动服务

2.3.1.启动kdc服务

systemctl status krb5kdc 查看状态状态为 inactive(dead)

[root@hrxjb1 ~]# systemctl status krb5kdc
● krb5kdc.service - Kerberos 5 KDC
   Loaded: loaded (/usr/lib/systemd/system/krb5kdc.service; disabled; vendor preset: disabled)
   Active: inactive (dead)

systemctl start krb5kdc

[root@hrxjb1 ~]# systemctl start krb5kdc
[root@hrxjb1 ~]# systemctl status krb5kdc
● krb5kdc.service - Kerberos 5 KDC
   Loaded: loaded (/usr/lib/systemd/system/krb5kdc.service; disabled; vendor preset: disabled)
   Active: active (running) since Mon 2020-12-28 18:00:31 CST; 1s ago
  Process: 26940 ExecStart=/usr/sbin/krb5kdc -P /var/run/krb5kdc.pid $KRB5KDC_ARGS (code=exited, status=0/SUCCESS)
 Main PID: 26941 (krb5kdc)
   CGroup: /system.slice/krb5kdc.service
           └─26941 /usr/sbin/krb5kdc -P /var/run/krb5kdc.pid

Dec 28 18:00:31 hrxjb1.tcloudata.com systemd[1]: Starting Kerberos 5 KDC...
Dec 28 18:00:31 hrxjb1.tcloudata.com systemd[1]: Started Kerberos 5 KDC.

2.3.2.启动kadmin服务

systemctl status kadmin

[root@hrxjb1 ~]# systemctl status kadmin
● kadmin.service - Kerberos 5 Password-changing and Administration
   Loaded: loaded (/usr/lib/systemd/system/kadmin.service; disabled; vendor preset: disabled)
   Active: inactive (dead)

systemctl start kadmin

[root@hrxjb1 ~]# systemctl start kadmin
[root@hrxjb1 ~]# systemctl status kadmin
● kadmin.service - Kerberos 5 Password-changing and Administration
   Loaded: loaded (/usr/lib/systemd/system/kadmin.service; disabled; vendor preset: disabled)
   Active: active (running) since Mon 2020-12-28 18:01:50 CST; 2s ago
  Process: 27080 ExecStart=/usr/sbin/_kadmind -P /var/run/kadmind.pid $KADMIND_ARGS (code=exited, status=0/SUCCESS)
 Main PID: 27081 (kadmind)
   CGroup: /system.slice/kadmin.service
           └─27081 /usr/sbin/kadmind -P /var/run/kadmind.pid

Dec 28 18:01:50 hrxjb1.tcloudata.com systemd[1]: Starting Kerberos 5 Password-changing and Administration...
Dec 28 18:01:50 hrxjb1.tcloudata.com systemd[1]: Started Kerberos 5 Password-changing and Administration.

2.4.client安装

在每台节点机上执行(192.168.1.97和192.168.1.98)

yum -y install krb5-workstation

在这里插入图片描述

2.5.生成密钥文件

在这里插入图片描述
kafka的生成随机密码

addprinc -randkey kafka/hrxjb1.tcloudata.com@TCLOUDATA.COM
addprinc -randkey kafka/hrxjb2.tcloudata.com@TCLOUDATA.COM
addprinc -randkey kafka/hrxjb3.tcloudata.com@TCLOUDATA.COM

加入至密钥文件

ktadd -k /etc/security/keytabs/kafka1.keytab kafka/hrxjb1.tcloudata.com@TCLOUDATA.COM
ktadd -k /etc/security/keytabs/kafka2.keytab kafka/hrxjb2.tcloudata.com@TCLOUDATA.COM
ktadd -k /etc/security/keytabs/kafka3.keytab kafka/hrxjb3.tcloudata.com@TCLOUDATA.COM

zookeeper的生成随机密码

addprinc -randkey zookeeper/hrxjb1.tcloudata.com@TCLOUDATA.COM
addprinc -randkey zookeeper/hrxjb2.tcloudata.com@TCLOUDATA.COM
addprinc -randkey zookeeper/hrxjb3.tcloudata.com@TCLOUDATA.COM

加入至密钥文件

ktadd -k /etc/security/keytabs/kafka1.keytab zookeeper/hrxjb1.tcloudata.com@TCLOUDATA.COM
ktadd -k /etc/security/keytabs/kafka2.keytab zookeeper/hrxjb2.tcloudata.com@TCLOUDATA.COM
ktadd -k /etc/security/keytabs/kafka3.keytab zookeeper/hrxjb3.tcloudata.com@TCLOUDATA.COM

利用klist查看添加的用户

klist -ket /etc/security/keytabs/kafka1.keytab 
klist -ket /etc/security/keytabs/kafka1.keytab
klist -ket /etc/security/keytabs/kafka1.keytab

在这里插入图片描述
把 /etc/security/keytabs/kafka_server.keytab 拷贝至客户端对应的目录

cp -r /etc/security/keytabs/kafka1.keytab /etc/security/keytabs/kafka.keytab
scp -r /etc/security/keytabs/kafka2.keytab root@192.168.1.97:/etc/security/keytabs/kafka.keytab
scp -r /etc/security/keytabs/kafka3.keytab root@192.168.1.98:/etc/security/keytabs/kafka.keytab

3.安装kafka+zookeeper

3.1.配置zookeeper

3.1.1.创建zookeeper 使用的 zookeeper.jaas

三台机器的zookeeper.jaas，要注意principal与/etc/security/keytabs/kafka.keytab里面的用户相对应
以192.168.1.96为例

cat /home/ywjk/kafka_2.11-0.10.2.2/config/zookeeper.jaas

Server{
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
storeKey=true
keyTab="/etc/security/keytabs/kafka.keytab"
#这里要注意每台机器的/etc/security/keytabs/kafka.keytab是否包含如下用户名
principal="zookeeper/hrxjb1.tcloudata.com@TCLOUDATA.COM"
userTicketCache=false;
};

3.1.2. zookeeper配置文件

加入如下配置：

authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
requireClientAuthScheme=sasl
jaasLoginRenew=3600000

3.1.3.修改zookeeper启动脚本

在zookeeper启动脚本中加入

/home/ywjk/kafka_2.11-0.10.2.2/bin/zookeeper-server-start.sh
export KAFKA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/home/ywjk/kafka_2.11-0.10.2.2/config/zookeeper.jaas"

3.2.配置kafka

3.2.1.创建kafka 的kafka.jaas

cat /home/ywjk/kafka_2.11-0.10.2.2/config/kafka.jaas

KafkaServer{
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
storeKey=true
serviceName="kafka"
keyTab="/etc/security/keytabs/kafka.keytab"
principal="kafka/hrxjb1.tcloudata.com@TCLOUDATA.COM";
};
KafkaClient{
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
storeKey=true
serviceName="kafka"
keyTab="/etc/security/keytabs/kafka.keytab"
principal="kafka/hrxjb1.tcloudata.com@TCLOUDATA.COM"
userTicketCache=true;
};
Client{
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
storeKey=true
serviceName="kafka"
keyTab="/etc/security/keytabs/kafka.keytab"
principal="kafka/hrxjb1.tcloudata.com@TCLOUDATA.COM"
userTicketCache=true;
};

3.2.2.配置kafka的 server.properties

cat /home/ywjk/kafka_2.11-0.10.2.2/config/server.properties

在server.properties文件中加入

zookeeper.connect=hrxjb1.tcloudata.com:2182,hrxjb2.tcloudata.com:2182,hrxjb3.tcloudata.com:2182
listeners=SASL_PLAINTEXT://192.168.1.96:9092
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=GSSAPI
sasl.enabled.mechanisms=GSSAPI
sasl.kerberos.service.name=kafka

3.2.3.修改kafa启动脚本

kafka启动脚本中加入

export KAFKA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/home/ywjk/kafka_2.11-0.10.2.2/config/kafka.jaas"

3.3. 启动zookeeper

/home/ywjk/kafka_2.11-0.10.2.2/bin/zookeeper-server-start.sh -daemon /home/ywjk/kafka_2.11-0.10.2.2/config/zookeeper.properties

3.4. 启动kafka

/home/ywjk/kafka_2.11-0.10.2.2/bin/kafka-server-start.sh -daemon /home/ywjk/kafka_2.11-0.10.2.2/config/server.properties

3.5.测试kafka

3.5.1.创建topic

在/home/ywjk/kafka_2.11-0.10.2.2/bin/kafka-topics.sh
/home/ywjk/kafka_2.11-0.10.2.2/bin/kafka-console-consumer.sh
/home/ywjk/kafka_2.11-0.10.2.2/bin/kafka-console-producer.sh
加入

export KAFKA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/home/ywjk/kafka_2.11-0.10.2.2/config/kafka.jaas"

/home/ywjk/kafka_2.11-0.10.2.2/bin/kafka-topics.sh --create --zookeeper hrxjb1.tcloudata.com:2182,hrxjb2.tcloudata.com:2182,hrxjb3.tcloudata.com:2182 --replication-factor 1 --partitions 3 --topic hnhrtlrealdata

3.5.2.启动生产者

在 /home/ywjk/kafka_2.11-0.10.2.2/config/producer.properties 加入如下配置
在这里插入图片描述

security.protocol=SASL_PLAINTEXT
sasl.mechanism=GSSAPI
sasl.kerberos.service.name=kafka

命令启动生产者发送消息

/home/ywjk/kafka_2.11-0.10.2.2/bin/kafka-console-producer.sh --broker-list  hrxjb1.tcloudata.com:9092,hrxjb2.tcloudata.com:9092,hrxjb3.tcloudata.com:9092  --topic hnhrtlrealdata --producer.config /home/ywjk/kafka_2.11-0.10.2.2/config/producer.properties

3.5.3.启动消费者

在/home/ywjk/kafka_2.11-0.10.2.2/config/consumer.properties 加入如下配置
在这里插入图片描述

security.protocol=SASL_PLAINTEXT
sasl.mechanism=GSSAPI
sasl.kerberos.service.name=kafka

 /home/ywjk/kafka_2.11-0.10.2.2/bin//kafka-console-consumer.sh --bootstrap-server hrxjb1.tcloudata.com:9092,hrxjb2.tcloudata.com:9092,hrxjb3.tcloudata.com:9092 --topic hnhrtlrealdata --from-beginning --consumer.config  /home/ywjk/kafka_2.11-0.10.2.2/config/consumer.properties

3.6.flink加入kerberos认证

flink安装在/usr/local/flink-1.11.2

cat /usr/local/flink-1.11.2/conf/flink-conf.yaml

在这里插入图片描述
在flink-conf.yaml中加入

security.kerberos.login.use-ticket-cache: true
security.kerberos.login.keytab: /etc/security/keytabs/kafka.keytab
security.kerberos.login.principal: kafka/hrxjb1.tcloudata.com@TCLOUDATA.COM

# The configuration below defines which JAAS login contexts

security.kerberos.login.contexts: Client,KafkaClient

要把kafka的kafka.jaas 和kerberos认证生成的 kafka.keytab拷贝至flink每台机器

玄慈
关注
  • 4
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Kafka 配置用户名密码例子
09-10
Kafka 目前支持SSL、SASL/Kerberos、SASL/PLAIN三种认证机制 ，我拿第三种进行了 配置 。你可以直接下载 运行并测试
大数据Hadoop之——Kafka鉴权认证（Kafka kerberos认证+kafka账号密码认证+CDH Kerberos认证）
匠人精神，持之以恒！
06-06 3379
Kerberos概述与安装可以参考我之前的文章：Kerberos认证原理与环境部署Kafka安装可以参考我以前的文章：大数据Hadoop之——Kafka 图形化工具 EFAK（EFAK环境部署） 分布式开源协调服务——ZookeeperKafka Kerberos认证官方文档：https://kafka.apache.org/31/documentation.html#security_saslKafka 是服务，所以这里使用的是服务principal，不清楚的小伙伴可以看我上面的文章。格式如下： 1）创
Kafka-配置Kerberos安全认证(JDK8、JDK11)_kafka kerberos认证(2)
最新发布
2401_84545128的博客
05-13 1000
①了解行业相关背景，前景，确定发展方向。②学习网络安全相关法律法规。③网络安全运营的概念。④等保简介、等保规定、流程和规范。（非常重要）①渗透测试的流程、分类、标准②信息收集技术：主动/被动信息搜集、Nmap工具、Google Hacking③漏洞扫描、漏洞利用、原理，利用方法、工具（MSF）、绕过IDS和反病毒侦察④主机攻防演练：MS17-010、MS08-067、MS10-046、MS12-20等①Windows系统常见功能和命令。
kerberos+kafka（2.13）认证（单节点ubuntu）
weixin_43446246的博客
01-30 1141
复制 bin/kafka-server-start.sh 脚本重命名为 bin/kafka-server-start-sasl.sh，倒数第二行增加如下配置。.新建 kafka-client-jaas.conf 文件，该文件也放到 Kafka 的 config/kerberos 目录下。创建用户principal。验证登录,使用密钥登录.
Docker搭建kafka
yudaonihaha的专栏
05-19 1678
docker简易搭建kafka在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题：想分析一下用户行为，一遍我能设计出更好的广告位，相对用户的搜索关键字尽心统计，分析出前卫的流行趋势，有些数据存数据库浪费，直接存硬盘操作效率又低。kafka在这样的场景下就是个不错的选择。
Kerberos安全认证-连载7-大数据技术组件之搭建Kafka集群
qq_32020645的博客
06-07 429
node2、node3节点修改$KAFKA_HOME/config/server.properties文件中的broker.id，node2中修改为1，node3节点修改为2。zookeeper.connect=node3:2181,node4:2181,node5:2181 #zookeeper集群。在node1,node2,node3三台节点上分别执行startKafka.sh脚本，启动Kafka。发送完成后，在node2、node3节点上配置Kafka的环境变量。#查看集群中的topic。
Kafka 认证三：Kerberos 认证中心部署
本博客纯属个人网络笔记，如对阁下有用，甚喜；否则，关掉即可，不喜勿喷。专心写代码，不做键盘侠！
11-17 2226
Kafka 支持 Kerberos的前提是部署 Kerberos 服务端，然后在 Kafka 所在的主机安装 Kerberos 客户端。Kerberos 是神话中具有三个头的保卫神犬，在没有部署 Kerberos 认证中心之前，曾看来两天这个协议的理论，但是很快就忘记了。 本周为了测试 Kafka 的 Kerberos 认证，玩了一下 Kerberos 认证中心的部署，看着 kdc 的日志文件，操作几遍 `kadmin.local` 命令后，突然就理解了 Kerberos 认证流程了。
Kafka-配置Kerberos安全认证(JDK8、JDK11)
孟孟的博客
07-24 4439
从 Kerberos 服务器上拷贝到目标机器 或 找运维人员要一份。从 Kerberos 服务器上拷贝到目标机器 或 找运维人员要一份。3、Kerberos 配置文件（2、keytab 文件（1、JAAS 配置文件。
kafka配置kerberos认证&&java/netcore连接kerberos的kafka
yangqin@1225的博客
05-19 3646
安装kdc及配置 安装kdc yum install -y krb5-libs krb5-server krb5-workstation krb5-libs 修改配置文件，将realms以及default_realm取消注释 vi /etc/krb5.conf 创建数据库存放principal kdb5_util create -r EXAMPLE.COM -s 使用kadmin.local来添加kafka以及zookeeper的principal (按q可退出kadmin.loca
java实现flink订阅Kerberos认证的Kafka消息示例源码
04-16
- 在Flink中，你需要配置`flink-conf.yaml`以启用Kerberos认证。这包括设置`security.kerberos.login.use-ticket-cache`为`true`，以及指定`security.kerberos.login.contexts`，例如设置为`Kafka`。 - 对于Kafka...
kerberos安全认证
12-29
配置`oozie.service.HadoopAccessorService.kerberos.enabled=true`启用Kerberos认证。 - **MapReduce (MR)**: MR作业可以通过Kerberos进行认证，确保作业执行和数据访问的安全。在Hadoop配置中设置`mapreduce.job....
kafka 配置kerberos安全认证
01-28
这个里面是kafka配置kerberos的详细步骤，其方式也可以应用到kafka自带的认证体系
kerberos安全认证demo
11-09
启用Kerberos后，Oozie会要求所有作业提交者进行Kerberos认证，以确保作业执行的安全性。配置包括设置`oozie.service.HadoopAccessorService.kerberos.name.rules`和`oozie.service.KerberosAuthenticationHandler....
CDH5.15启用kerberos+Sentry手册_v1.0.docx
04-10
《CDH5.15启用kerberos+Sentry手册》详细解读 在大数据处理环境中，确保数据的安全性至关重要。CDH（Cloudera Distribution Including Apache Hadoop）作为一款流行的大数据平台，提供了强大的安全机制，包括...
大数据安全-kerberos技术-kafka安装包，kafka版本：kafka-2.12-3.3.1.tgz
06-07
3. **配置Kafka服务器**：修改Kafka的配置文件`server.properties`，启用Kerberos安全模式，设置`security.inter.broker.protocol`为SASL_PLAINTEXT或SASL_SSL，根据需要选择SASL认证机制。 4. **配置客户端**：...
Kafka 认证三：添加 Kerberos 认证详细流程
本博客纯属个人网络笔记，如对阁下有用，甚喜；否则，关掉即可，不喜勿喷。专心写代码，不做键盘侠！
11-18 5811
上一章节介绍了 Kerberos 服务端和客户端的部署过程，本章节继续介绍 Kafka 添加 Kerberos 认证的部署流程，及 Java API 操作的注意事项。
Kafka集成Kerberos
m0_47139984的博客
03-06 1131
Kafka集成Kerberos
Kafka Producer异步发送的流程
lzf的博客
01-13 9551
Producer API入门 ProducerRecord 说明 异步发送流程 2.1 用户线程调用send将record压缩到BufferPool中 2.2 发送调度 Producer设计说明Producer Configuration1. Producer API入门：KafkaProducer是一个发送record到Kafka Cluster的客户端API。这个类线程安全的。在...
Kerberos认证的kafka常见错误记录
热门推荐
Aspirin's Nest
10-14 1万+
前言 发现网上与kerberos有关报错信息少之又少，踩过的坑放在这里，希望可以帮到后来人。 报错信息总结 1. principal和keytab不匹配，这种问题，只需要在jaas文件中指定正确的账号密码即可 Caused by: javax.security.auth.login.LoginException: Could not login: the client is being ...
kafka适配kerberos
08-12
要适配Kerberos，可以按照以下步骤进行操作： 1. 搭建Kafka服务器：首先，在主机192.168.248.100上搭建Kafka服务器。可以参考引用中提供的教程进行操作。 2. 创建Kafka的JAAS配置文件：在Kafka安装目录下的config文件夹中创建一个名为"kafka-jaas.conf"的文件。在该文件中，添加以下内容： ``` KafkaServer { com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true storeKey=true keyTab="/opt/kafka/kerberos/kafka.keytab" principal="kafka/192.168.248.100@HADOOP.COM"; }; KafkaClient { com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true useTicketCache=true keyTab="/opt/kafka/kerberos/kafka.keytab" principal="kafka/192.168.248.100@HADOOP.COM"; }; ``` 在上述配置中，需要根据实际情况修改keyTab的路径和principal的值，确保与Kerberos服务器的配置一致。具体配置详见引用。 3. 修改Kafka的消费者配置文件：打开config/consumer.properties配置文件，将以下内容添加到文件末尾： ``` security.protocol = SASL_PLAINTEXT sasl.mechanism = GSSAPI sasl.kerberos.service.name=kafka ``` 这些配置将启用Kerberos验证，并指定Kafka服务的安全协议、SASL机制和Kerberos服务名称。详细配置信息可参考引用。 完成以上步骤后，Kafka就适配了Kerberos的安全验证。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [kerberos整合kafka、springboot](https://blog.csdn.net/weixin_40496191/article/details/124056953)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值