Kafka安全认证授权配置

最新推荐文章于 2024-09-19 14:12:15 发布
最新推荐文章于 2024-09-19 14:12:15 发布
阅读量8.7k 收藏 31
点赞数 4
分类专栏： kafka 文章标签： kafka linux elk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41203483/article/details/121377865
版权

Kafka安全认证授权配置

一 概述

1.1 Kafka的权限分类

1）身份认证（Authentication）：对client 与服务器的连接进行身份认证，brokers和zookeeper之间的连接进行Authentication（producer 和 consumer）、其他 brokers、tools与 brokers 之间连接的认证。

2）权限控制（Authorization）：实现对于消息级别的权限控制，clients的读写操作进行Authorization：（生产/消费/group)数据权限。

1.2 实现方式

自0.9.0.0版本开始Kafka社区添加了许多功能用于提高Kafka集群的安全性，Kafka提供SSL或者SASL两种安全策略。SSL方式主要是通过CA令牌实现，此方案主要介绍SASL方式。
1）SASL验证:

验证方式Kafka版本特点
SASL/PLAIN0.10.0.0不能动态添加用户
SASL/SCRAM0.10.2.0可以动态添加用户
SASL/Kerberos0.9.0.0需要独立部署验证服务
SASL/OAUTHBEARER2.0.0需自己实现接口实现token的创建和验证，需要额外的oauth服务

2）SSL加密: 使用SSL加密在代理和客户端之间，代理之间或代理和工具之间传输的数据。

二 安全认证授权配置

本文档主要演示SASL/SCRAM和SASL/PLAIN 搭配使用的方案。版本：kafka_2.12-2.5.1.tgz、apache-zookeeper-3.5.8-bin.tar.gz

2.1 zookeeper配置

2.1.1 引入kafka依赖包

将kafka包下面的相关依赖包复制到zookeeper的目录下，不同的kafka
版本jar包版本会不一样。

cp /mnt/datadisk/kafka/libs/kafka-clients-2.5.1.jar /mnt/datadisk/zookeeper/lib
cp /mnt/datadisk/kafka/libs/lz4-java-1.7.1.jar /mnt/datadisk/zookeeper/lib
cp /mnt/datadisk/kafka/libs/slf4j-api-1.7.30.jar /mnt/datadisk/zookeeper/lib
cp /mnt/datadisk/kafka/libs/slf4j-log4j12-1.7.30.jar /mnt/datadisk/zookeeper/lib
cp /mnt/datadisk/kafka/libs/snappy-java-1.1.7.3.jar /mnt/datadisk/zookeeper/lib

2.1.2修改ZK配置文件

Zookeeper的配置文件zoo.cfg中添加如下内容：

authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
requireClientAuthScheme=sasl
jaasLoginRenew=3600000

2.1.3 创建jaas文件

在zookeeper的conf目录下添加安全认证的jaas文件，该文件定义需要链接到Zookeeper服务器的用户名和密码。这里定义文件名为zk-server-jaas.conf，文件内容为：

Server {
org.apache.kafka.common.security.plain.PlainLoginModule required
username="zoo_admin"
password="zoo_admin"
user_kafka="kafka";
};

该文件中username和password是定义zookeeper集群节点之间认证的用户名和密码；user_开头配置的用户kafka和密码kafka是提供给外部应用连接zookeeper使用的，后面kafka使用此用户连接zookeeper。

2.1.4 修改zkEnv.sh

将上一步添加的jaas配置文件添加到zookeeper的环境变量中，zkEnv.sh文件最后添加一行：

export SERVER_JVMFLAGS="-Djava.security.auth.login.config=/mnt/datadisk/zookeeper/conf/zk_server_jaas.conf"

2.1.5 启动zk

nohup bin/zkServer.sh start &

2.2 Kafka配置

Kafka和生产者/消费者之间采用SASL/PLAIN和SASL/SCRAM两种方式共同完成认证，授权使用ACL方式。PLAIN方式的用户是在jaas文件中写死的，不能动态的添加；SCRAM支持动态的添加用户。

2.2.1 创建超级用户

配置SASL/SCRAM认证的第一步，是配置可以连接到kafka集群的用户。本方案演示创建3个用户：kafka_server_admin，writer，reader。kafka_server_admin用户用于broker之间的认证通信，writer用户用于生产者连接kafka，reader用户用于消费者连接kafka。

bin/kafka-configs.sh --zookeeper 192.168.13.202:2181 --alter --add-config 'SCRAM-SHA-256=[password=admin],SCRAM-SHA-512=[password=admin]' --entity-type users --entity-name kafka_server_admin

正常情况打印信息：Completed updating config for entity: user-principal ‘admin’.

bin/kafka-configs.sh --zookeeper 192.168.13.202:2181 --alter --add-config 'SCRAM-SHA-256=[password=writer],SCRAM-SHA-512=[password=writer]' --entity-type users --entity-name writer

bin/kafka-configs.sh --zookeeper 192.168.13.202:2181 --alter --add-config 'SCRAM-SHA-256=[password=reader],SCRAM-SHA-512=[password=reader]' --entity-type users --entity-name reader

在zk客户端中可以查看创建成功的用户：

bin/zkCli.sh
# 客户端打开后执行下面命令，查看用户节点，可以看到创建成功的用户
ls /config/users

在这里插入图片描述

kafka-configs 脚本是用来设置主题级别参数的。其实，它的功能还有很多。比如在这个例子中，我们使用它来创建 SASL/SCRAM 认证中的用户信息。可以使用下列命令来查看刚才创建的用户数据。

bin/kafka-configs.sh --zookeeper 192.168.13.202:2181 --describe --entity-type users --entity-name writer

在这里插入图片描述

这段命令包含了 writer 用户加密算法 SCRAM-SHA-256 以及 SCRAM-SHA-512 对应的盐值 (Salt)、ServerKey 和 StoreKey，这些都是 SCRAM 机制的术语。

2.2.2 创建jaas文件

配置了用户之后，我们需要为 Broker 创建一个对应的 JAAS 文件。在实际场景中，需要为每台单独的物理 Broker 机器都创建一份 JAAS 文件。

# 在kafka目录下创建文件
vi config/kafka_server_jaas.conf

kafka_server_jaas.conf文件的内容为：

KafkaServer {
org.apache.kafka.common.security.scram.ScramLoginModule required
username="kafka_server_admin"
password="admin";

org.apache.kafka.common.security.plain.PlainLoginModule required
username="admin"
password="admin-secret"
user_filebeat="123456";
};

Client {
org.apache.kafka.common.security.plain.PlainLoginModule required
username="kafka"
password="kafka";
};

KafkaServer配置的是kafka的账号和密码。Client配置了broker到Zookeeper的连接用户名密码，这里要和前面2.1.3节zookeeper配置中的zk_server_jaas.conf中user_kafka的账号和密码相同。中间部分配置的是PLAIN认证方式的账户和密码，其中filebeat是账户名，123456是密码。
关于这个文件内容，需要注意以下两点：

  1. 不要忘记最后一行和倒数第二行结尾处的分号；
  2. JAAS 文件中不需要任何空格键。

2.2.3 修改kafka配置文件

server.properties文件中添加如下内容:

# 启用ACL
allow.everyone.if.no.acl.found=false
authorizer.class.name=kafka.security.authorizer.AclAuthorizer
# 设置本例中admin为超级用户；在Zookeeper的“/kafka/config/users”下存在用户
super.users=User:kafka_server_admin
# 同时启用SCRAM和PLAIN机制
sasl.enabled.mechanisms=SCRAM-SHA-256,PLAIN
# 为broker间通讯开启SCRAM机制，采用SCRAM-SHA-512算法
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
# broker间通讯使用PLAINTEXT，本例中不演示SSL配置
security.inter.broker.protocol=SASL_PLAINTEXT
# 配置listeners使用SASL_PLAINTEXT
listeners=SASL_PLAINTEXT://:9092
# 配置advertised.listeners
advertised.listeners=SASL_PLAINTEXT://192.168.13.202:9092

启动脚本kafka-server-start.sh文件最后一行注释掉，修改为：

#exec $base_dir/kafka-run-class.sh $EXTRA_ARGS kafka.Kafka "$@"
exec $base_dir/kafka-run-class.sh $EXTRA_ARGS -Djava.security.auth.login.config=/mnt/datadisk/kafka/config/kafka_server_jaas.conf kafka.Kafka "$@"

kafka配置文件server.properties完整配置如下：

# kafka不同节点的唯一标识
broker.id=0

#认证配置
listeners=SASL_PLAINTEXT://:9092
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
sasl.enabled.mechanisms=SCRAM-SHA-256,PLAIN
#ACL配置
allow.everyone.if.no.acl.found=false
super.users=User:kafka_server_admin
authorizer.class.name=kafka.security.authorizer.AclAuthorizer

# ip为本机ip
advertised.listeners=SASL_PLAINTEXT://192.168.13.202:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
# 必改项 数据和日志分离, kafka中数据的存放目录
log.dirs=/mnt/datadisk/kafka/data
# 默认的分区数量
num.partitions=3
# 默认的副本数量
default.replication.factor=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
# zookeeper集群地址
zookeeper.connect=192.168.13.202:2181
zookeeper.connection.timeout.ms=90000
# 可以删除topic
delete.topic.enable=true
group.initial.rebalance.delay.ms=0
# 消息体大小
message.max.bytes=10485760
socket.request.max.bytes=524288000
replica.lag.time.max.ms=120000

2.2.4启动kafka

nohup bin/kafka-server-start.sh config/server.properties &

三 测试连接

3.1 生产者测试

使用kafka-console-producer.sh脚本测试生产者，由于开启安全认证和授权，因此客户端需要做相应的配置。config目录下创建一个producer.conf的文件，文件内容如下：

security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="writer" password="writer";

创建一个测试主题test_topic：

bin/kafka-topics.sh --zookeeper 192.168.13.202:2181 --create --replication-factor 1 --partitions 1 --topic test_topic

这里使用writer用户认证授权，通过ACL为writer用户分配操作test_topic权限（下面两个命令二选一即可）：
1.分配写的权限

bin/kafka-acls.sh --authorizer-properties zookeeper.connect=localhost:2181 --add --allow-principal User:writer --operation Write --topic 'test_topic'

2.分配producer权限

bin/kafka-acls.sh --authorizer-properties zookeeper.connect=localhost:2181 --add --allow-principal User:writer --producer --topic 'test_topic'

启动生产者发送消息：

bin/kafka-console-producer.sh --broker-list 192.168.13.202:9092 --topic test_topic --producer.config /mnt/datadisk/kafka/config/producer.conf

在这里插入图片描述

3.2 消费者测试

使用kafka-console-consumer.sh脚本测试生产者，由于开启安全认证和授权，因此客户端需要做相应的配置。config目录下创建一个consumer.conf的文件，文件内容如下：

security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="reader" password="reader";

这里使用reader用户认证授权，通过ACL为reader用户分配操作test_topic权限（下面两个命令二选一即可）：
1.分配读的权限

bin/kafka-acls.sh --authorizer-properties zookeeper.connect=localhost:2181 --add --allow-principal User:reader --operation Read --topic 'test_topic'

2.分配consumer的权限

bin/kafka-acls.sh --authorizer-properties zookeeper.connect=localhost:2181 --add --allow-principal User:reader --consumer --topic test_topic --group test_group

启动消费者消费消息：

bin/kafka-console-consumer.sh --bootstrap-server 192.168.13.202:9092 --topic test_topic --group 'test_group' --from-beginning --consumer.config /mnt/datadisk/kafka/config/consumer.conf

在这里插入图片描述

3.3 beats工具连接

kafka官网提供了许多beats采集工具，用于不同场景下采集数据，感兴趣的可以去官网了解下，这里就不介绍了。笔者这里使用的是beats工具是7.9版本的，采集的数据如果要发送到kafka，只支持SASL/PLAIN认证方式，据说高版本的beats工具支持SCRAM方式的。这里介绍下filebeat-7.9.1的配置方式。PLAIN类型的用户在2.2.2章节已经创建，在filebeat中用此用户名和密码即可完成认证，授权参考3.1章节。
filebeat的配置文件filebeat.yml中输出kafka配置中加入用户名和密码，如下：
在这里插入图片描述
可以启动一个消费者监控filebeat采集的数据，启动filebeat，并在filebeat采集的文件中输入内容，可以看到消费者可以获取对应的消息：
在这里插入图片描述在这里插入图片描述

3.4 logstash消费

logstash可以使用SCRAM方式认证，logstash的config目录下新增kafka-client-jaas.conf文件，文件内容如下：

KafkaClient {
org.apache.kafka.common.security.scram.ScramLoginModule required
username="reader"
password="reader";
};

修改congfig目录下对应的conf处理文件，在input模块中引入SCRAM认证：

security_protocol => "SASL_PLAINTEXT"
sasl_mechanism => "SCRAM-SHA-256"
jaas_path => "/mnt/datadisk/logstash/config/kafka-client-jaas.conf"

在这里插入图片描述
启动生产者往logstash监控的topic中发送数据，测试如下：
在这里插入图片描述
在这里插入图片描述

下一篇：【Java版 Kafka ACL使用实战】

芒果无忧
关注
专栏目录
【Kafka】Kafka认证与授权
九师兄
08-13 6759
Kafka的认证机制 概述 GSSAPI：使用的Kerberos认证，可以集成目录服务，比如AD。Kafka最小版本 0.9 PLAIN：使用简单用户名和密码形式，Kafka最小版本 0.10 SCRAM：主要解决PLAIN动态更新问题以及安全机制，Kafka最小版本 0.10.2 OAUTHBEARER：基于OAuth 2认证框架，Kafka最小版本 2.0 配置SASL\PLAIN 创建kafka_server_jaas.conf文件 这个文件是配置Broker服务端的JAAS，进入Kafka程序目录的
kafka 配置kerberos安全认证
01-28
这个里面是kafka配置kerberos的详细步骤，其方式也可以应用到kafka自带的认证体系
kafka安装部署-前面部分
wt6002的博客
09-03 387
step 1: 下载代码 你可以登录Apache kafka 官方下载。http://kafka.apache.org/downloads.html 下载和自己系统匹配的 Step 2: 启动服务 运行kafka需要使用Zookeeper，所以你需要先启动Zookeeper，如果你没有Zookeeper，你可以使用kafka自带打包和配置好的Zookeeper（PS：在kafka包里）。 在和kafka一个目录bin文件夹下面; //这是前台启动，启动以后，当前就无法进行其他操作（不推.
Kafka 安全机制详解及配置指南
最新发布
weixin_44976692的博客
09-19 1万+
Kafka 支持多种安全机制，能够满足不同安全需求的场景。Kafka 作为分布式消息流平台，在处理高吞吐量的同时，也提供了多种安全机制来保证数据传输的安全性。本文详细介绍了几种常见的认证和加密方式（PLAINTEXT、SASL_PLAINTEXT、SASL_SSL、JAAS），并解释了如何在 Kafka 中配置这些安全机制。选择合适的认证和加密方式至关重要。在生产环境中，我们推荐使用 SASL_SSL 这样的强认证和加密机制，以确保 Kafka 集群在传输中的安全性。
kafka 开启认证授权
卷心菜投手
10-10 5348
kafka Kraft 模式 用户名密码 认证
Apache zookeeper kafka 开启SASL安全认证
heming20122012的专栏
03-13 3015
Kafka是一个高吞吐量、分布式的发布-订阅消息系统。Kafka核心模块使用Scala语言开发，支持多语言（如Java、Python、Go等）客户端，它可以水平扩展和具有高吞吐量特性而被广泛使用，并与多类开源分布式处理系统进行集成使用。Kafka作为一款开源的、轻量级的、分布式、可分区和具备复制备份的、基于ZooKeeper协调管理的分布式流平台的功能强大的消息系统。与传统消息系统相比，Kafka能够更好的处理活跃的流数据，让数据在各个子系统中高性能、低延迟地不停流转。
Kafka增加安全验证安全认证，SASL认证，并通过spring boot-Java客户端连接配置
dzqxwzoe的博客
05-31 1321
从时代发展的角度看，网络安全的知识是学不完的，而且以后要学的会更多，同学们要摆正心态，既然选择入门网络安全，就不能仅仅只是入门程度而已，能力越强机会才越多。因为入门学习阶段知识点比较杂，所以我讲得比较笼统，大家如果有不懂的地方可以找我咨询，我保证知无不言言无不尽，需要相关资料也可以找我要，我的网盘里一大堆资料都在吃灰呢。干货主要有：①1000+CTF历届题库（主流和经典的应该都有了）②CTF技术文档（最全中文版）③项目源码（四五十个有趣且经典的练手项目及源码）
Kafka配置安全认证
qq_42057890的博客
06-04 7234
Kafka配置安全认证 提示：本人 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pan..
kafka ssl 安全认证详细配置
06-23
kafka ssl 安全认证详细配置
Kafka SASL认证与ACL配置
u010100623的博客
04-30 2016
SASL/PLAIN，这种方式其实就是一个的认证方式，不过它有很多缺陷，比如用户名密码是存储在文件中，等等！建议大家用SASL/SCRAM的方式 ，这种方式 用户名/密码是存储在zookeeper中，能够。该种认证方式还会使用sha256或sha512对，安全性相对会高一些。本文主要介绍SASL/PLAIN。
Kafka配置SASL认证
Healer_银尘的博客
07-12 1196
在本博客中我们使用SASL/PLAIN的方式来进行Kafka加密。
KAFKA权限配置SASL/PLAIN身份验证
01-07
zookeeper集群SASL认证&KAFKA权限配置SASL/PLAIN身份验证 配置环境 JKD: 1.8 Kafka: 2.3.0 Zookeeper: 3.4.14 服务器名 kafka内网IP:PORT kafka外网IP:PORT zookeeper内网IP:PORT KAFKA01 192.168.1.157:9092 116.155.153.185:19092 192.168.1.157:2181 KAFKA02 192.168.1.158:9092 116.155.153.185:29092 192.168.1.157:2181 KAFKA03 192
有了这个网络安全面试题，面试就像开了挂！（附PDF）
lvaolan的博客
02-26 1135
还有兄弟不知道网络安全面试可以提前刷题吗？费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！王岚嵚工程师面试题（附答案），只能帮兄弟们到这儿了！如果你能答对70%，找一个安全工作，问题不大。对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！【完整版领取方式在文末！！​​​​内容实在太多，不一一截图了。
kafka 认证与授权机制
热门推荐
sun
03-14 1万+
1.概述在版本0.9.0.0中，kafka社区添加了一些单独或一起使用的功能，可以提高kafka集群的安全性。Kafka 目前支持SSL、SASL/Kerberos、SASL/PLAIN三种认证机制。目前支持以下安全措施：clients 与 brokers 认证brokers 与 zookeeper认证数据传输加密  between  brokers and clients, between br...
Kafka 配置 SASL 认证
CvhShell的博客
09-21 714
通过按照这些步骤进行配置，你将能够在 Kafka 中启用 SASL 认证，并使用认证后的生产者和消费者进行消息传递。这个示例创建了一个 Kafka 生产者，并将消息发送到一个名为 “my-topic” 的主题中。这个示例创建了一个 Kafka 消费者，并从名为 “my-topic” 的主题中接收消息。在本文中，我们将详细介绍如何在 Kafka 中配置 SASL 认证。现在，你可以启动 Kafka 服务器，并应用配置的 SASL 认证。下面是使用 SASL 认证的 Kafka 生产者和消费者的代码示例。
Kafka安全性配置最佳实践
BXA
06-21 4101
Kafka安全性配置最佳实践一、Kafka 安全性配置1. 安全配置的必要性提高 Kafka 系统的可靠性添加认证配置 代码示例：添加 SSL 配置 代码示例：二、安全性配置的要素2.1 认证2.1.1 SSL 安全协议2.1.2 SASL 验证机制2.2 授权2.2.1 ACL 权限控制2.2.2 RBAC 权限管理2.3 加密2.3.1 数据传输加密2.3.2 数据存储加密三、安全性配置实践3.1 通用实践3.1.1 安全相关配置集中管理3.1.2 支持动态安全配置更新3.1.3 数据与应用分离3.2
kafka开启SSL认证（包括内置zookeeper开启SSL）
m0_37817986的博客
11-09 1985
zookeeper和kafka的SSL开启都可独立进行。
Apache zookeeper kafka 开启SASL安全认证_kafka开启认证
2401_84968371的博客
05-16 2054
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数网络安全工程师，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！因此收集整理了一份《2024年网络安全全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上网络安全知识点！真正的体系化！
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值