kafka 开启认证授权

已于 2024-05-28 15:54:57 修改
阅读量4.7k 收藏 17
点赞数 6
分类专栏： MQ 文章标签： kafka 分布式
于 2023-10-10 16:02:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38263083/article/details/133313443
版权

前言

1、前面自己写了一篇关于各个环境各个模式的安装的文章，大家可以去看看 kafka各种环境安装(window,linux,docker,k8s),包含KRaft模式

2、使用版本 kafka_2.13-3.4.1

3、kafka验证方式，有两大类如下，文档内容在 kafka官方文档的 第七节 security，强烈建议大家去看下，不想看英文的可以翻译中文后看

在这里插入图片描述

4、而SASL 又细分如下 4 小类，这四种都可以使用

类型说明官方文档链接
SASL/GSSAPI (Kerberos)使用的Kerberos认证，可以集成目录服务，比如AD。从Kafka0.9版本开始支持Kerberos
SASL/PLAIN使用简单用户名和密码形式。从Kafka0.10版本开始支持，不支持动态增加账户和密码SASL/PLAIN
SASL/SCRAM-SHA-256主要解决PLAIN动态更新问题以及安全机制，从Kafka0.10.2开始支持SCRAM
SASL/SCRAM-SHA-512主要解决PLAIN动态更新问题以及安全机制，从Kafka0.10.2开始支持SCRAM
SASL/OAUTHBEARER基于OAuth 2认证框架，从Kafka2.0版本开始支持OAUTHBEARER

5、在后面指定java 实现的时候，可以去源码里面找对应的，如下
在这里插入图片描述

6、需要先明确的一点是，用户认证和权限控制是两码事。用户认证是确认这个用户能否访问当前的系统，而权限控制是控制用户对当前系统中各种资源的访问权限。用户认证就是今天要讲的内容，而kafka的权限控制，则是对应 bin/kafka-acls.sh 工具所提供的一系列功能，这里不详细展开。

7、在SASL/PLAIN 模式中 Kafka的SASL_SSL和SASL_PLAINTEXT是两种不同的安全协议，用于保护Kafka集群中的通信。它们提供了不同级别的安全性和身份验证选项：

  • SASL_SSL (Simple Authentication and Security Layer over SSL/TLS)：这是Kafka的高度安全的传输协议。它结合了SSL/TLS（用于加密通信）和SASL（用于身份验证）来提供强大的安全性。使用SASL_SSL，Kafka客户端和服务器之间的通信将是加密的，并且需要经过身份验证才能建立连接。常见的身份验证机制包括GSSAPI（Kerberos）、PLAIN（用户名和密码）等。SASL_SSL是Kafka中最安全的选项，适用于敏感数据和合规性要求高的场景。

  • SASL_PLAINTEXT (Simple Authentication and Security Layer over plaintext)：这是Kafka的另一种SASL支持方式，但不涉及加密。使用SASL_PLAINTEXT，身份验证是必需的，但通信不加密。这意味着数据在传输过程中是以明文形式传输的，因此对于保护数据隐私要求较低的场景或在内部网络中使用时，可以选择此选项。常见的身份验证机制也包括PLAIN（用户名和密码）等。

8、通常，SASL_SSL是更安全的选项，因为它不仅提供身份验证，还提供数据的加密，从而更好地保护了数据的隐私和完整性。但是，它的配置相对复杂，可能需要设置SSL/TLS证书和密钥以及身份验证机制。SASL_PLAINTEXT相对来说更容易配置，但数据在传输过程中不加密，可能不适用于对数据隐私有更高要求的场景。

9、你的选择应该根据你的具体安全需求来决定。在需要高度安全性的生产环境中，通常会选择SASL_SSL，而在开发和测试环境中，SASL_PLAINTEXT可能更为方便。无论选择哪种方式，都需要谨慎配置和管理Kafka的安全设置，以确保系统的安全性。

一、Linux 环境（不使用docker）

3、下载后解压

tar -xzf kafka_2.13-3.4.1.tgz
cd kafka_2.13-3.4.1

1.1、Kafka with KRaft 单节点 SASL/PLAIN 模式授权

1.1.1、服务端

1.1.1.1、编写服务端授权文件

1、编写授权文件 kafka_server_jaas.conf，此配置定义了两个用户（admin 和 client ）。代理使用 KafkaServer 部分中的属性用户名和密码来启动与其他代理的连接。在此示例中，admin 是代理间通信的用户。属性集 user_用户名定义 是连接到代理的所有用户的密码，代理验证所有客户端连接。

# 因为我这里是使用 kraft 模式启动，所以，就把服务端的配置都放在这里了
cd /opt/kafka/kafka_2.13-3.4.1/config/kraft

# 创建文件内容如下
vim kafka_server_jaas.conf

### 末尾 分号一定不能忘记
KafkaServer {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="admin"
    password="admin-secret"
    user_admin="admin-secret"
    user_client="client-secret";
};

在这里插入图片描述

1.1.1.2、编写服务端启动脚本

1、复制kafka服务端启动脚本

cd /opt/kafka/kafka_2.13-3.4.1/bin/
cp kafka-server-start.sh kafka-server-start-sasl.sh

在这里插入图片描述

2、修改我们copy的启动脚本，将我们前面将要创建的配置文件（kafka_jaas.conf），给指定进去

cd /opt/kafka/kafka_2.13-3.4.1/bin
vim kafka-server-start-sasl.sh

# 将export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"修改为：
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G -Djava.security.auth.login.config=/opt/kafka/kafka_2.13-3.4.1/config/kraft/kafka_server_jaas.conf"

在这里插入图片描述

1.1.1.3、修改服务端 配置文件 server.properties

1、我这边是启动的 kraft 模式，所以我就修改对应的 kraft 目录下的配置文件即可

# 进入kraft/config目录
cd /opt/kafka/kafka_2.13-3.4.1/config/kraft

# copy并编辑server.properties文件
cp server.properties  server-sasl.properties

# 修改
vim server-sasl.properties

# 修改以下内容
###
listeners=SASL_PLAINTEXT://:9092,CONTROLLER://:9093
inter.broker.listener.name=SASL_PLAINTEXT
advertised.listeners=SASL_PLAINTEXT://192.168.173.129:9092
sasl.enabled.mechanisms=PLAIN
sasl.mechanism.inter.broker.protocol=PLAIN
###

在这里插入图片描述

在这里插入图片描述

1.1.2、客户端

1.1.2.1、编写客户端授权文件
# 因为我这里是使用 kraft 模式启动，所以，就把客户端的配置都放在这里了
cd /opt/kafka/kafka_2.13-3.4.1/config/kraft

# 创建文件内容如下
vim kafka_client_jaas.conf

### 末尾 分号一定不能忘记
KafkaClient {
  org.apache.kafka.common.security.plain.PlainLoginModule required
    username="client"
    password="client-secret";
};

在这里插入图片描述

1.1.2.2、编写消费者启动脚本
cd /opt/kafka/kafka_2.13-3.4.1/bin

# copy 并修改 
cp kafka-console-consumer.sh kafka-console-consumer-sasl.sh

# 修改，指定我们前面写的客户端配置文件
vim kafka-console-consumer-sasl.sh

# ★ 将export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"修改为：
export KAFKA_HEAP_OPTS="-Xmx512M -Djava.security.auth.login.config=/opt/kafka/kafka_2.13-3.4.1/config/kraft/kafka_client_jaas.conf"

在这里插入图片描述

1.1.2.3、编写消费者启动脚本的配置文件 consumer.properties
# 进入kafka/config目录
cd /opt/kafka/kafka_2.13-3.4.1/config

# copy编辑consumer-sasl.properties内容
cp consumer.properties  consumer-sasl.properties
vim consumer-sasl.properties

###
security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN
###

在这里插入图片描述

1.1.2.4、编写生产者启动脚本
cd /opt/kafka/kafka_2.13-3.4.1/bin

# copy 并修改 
cp kafka-console-producer.sh kafka-console-producer-sasl.sh

# 修改，指定我们前面写的客户端配置文件
vim kafka-console-producer-sasl.sh

# ★ 将export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"修改为：
export KAFKA_HEAP_OPTS="-Xmx512M  -Djava.security.auth.login.config=/opt/kafka/kafka_2.13-3.4.1/config/kraft/kafka_client_jaas.conf"

在这里插入图片描述

1.1.2.3、编写生产者启动脚本的配置文件 producer.properties
# 进入kafka/config目录
cd /opt/kafka/kafka_2.13-3.4.1/config

# copy编辑consumer-sasl.properties内容
cp producer.properties  producer-sasl.properties
vim producer-sasl.properties

###
security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN
###

在这里插入图片描述

1.1.1.5、修改通用命令脚本的配置文件

1、什么是通用命令脚本，比如说，创建topic的脚本，它链接kafka也是需要认证的，所以，我们为这一类没有指定配置的脚本，创建一个通用的

# 进入kafka/config目录
cd /opt/kafka/kafka_2.13-3.4.1/config/kraft
# 创建command_config文件
touch command_config
# 编辑command_config内容
vim command_config

###  千万注意 最后的分号 不能忘记了
security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="client" password="client-secret";
###

在这里插入图片描述

1.1.3、启动

1、完成上面的配置，那么我们就可以启动了，就是正常的 kraft 模式启动流程。

1.1.3.1、生成集群 UUID
# 进入到文件夹
cd /opt/kafka/kafka_2.13-3.4.1
# 创建 集群id
KAFKA_CLUSTER_ID="$(bin/kafka-storage.sh random-uuid)"
# 查看集群id是多少
echo $KAFKA_CLUSTER_ID

在这里插入图片描述

1.1.3.2、格式化日志目录

1、使用上面的 KAFKA_CLUSTER_ID 参数，默认存储目录是/tmp/kraft-combined-logs，你可以修改配置文件的值

注意这里使用的是 config/kraft/sasl.properties, 你可以点进去看下配置，可以看到，当前的这个配置的角色是 broker，controller了，就不再需要zookeeper了.
在这里插入图片描述

cd /opt/kafka/kafka_2.13-3.4.1
bin/kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c config/kraft/server-sasl.properties

在这里插入图片描述

2、可以看到了 /tmp/kraft-combined-logs 文件夹也存在了

在这里插入图片描述

1.1.3.3、启动kafka 服务

1、为了方便观察启动状态，这里就直接前台启动了

记得这里一定要用我们修改过后的脚本来启动 kafka-server-start-sasl.sh，这个脚本里面指定认证文件

cd /opt/kafka/kafka_2.13-3.4.1
# 启动
bin/kafka-server-start-sasl.sh config/kraft/server-sasl.properties

# 如果希望后台启动，则如下 加上 -daemon 即可  对应的日志文件在  /opt/kafka/kafka_2.13-3.4.1/logs 目录下，最新的日志文件是 erver.log
bin/kafka-server-start-sasl.sh -daemon config/kraft/server-sasl.properties

# 关闭kafka ，如果是前台的，直接 CTRL C 关闭当前进程就好，如果是后台的，可以执行命令
bin/kafka-server-stop.sh config/kraft/server-sasl.properties

在这里插入图片描述

1.1.4、链接测试

1.1.3.1、不使用认证的方式脚本命令行（服务端会提示无法链接）

1、我们先不使用认证授权的文件链接试一下，会发现下面这三个都是无法访问的，可以看到对应的服务端输出的日志

2、通用脚本

# 进入目录
cd /opt/kafka/kafka_2.13-3.4.1
# 查看当前服务器中的所有 topic
bin/kafka-topics.sh --list --bootstrap-server localhost:9092

在这里插入图片描述

3、消费者脚本

# 进入目录
cd /opt/kafka/kafka_2.13-3.4.1
# 消费者链接
bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test --from-beginning

在这里插入图片描述

4、生产者脚本

# 进入目录
cd /opt/kafka/kafka_2.13-3.4.1
# 生产者链接
bin/kafka-console-producer.sh --bootstrap-server 127.0.0.1:9092 --topic test

在这里插入图片描述

5、springBoot 项目，具体配置这里就不再细说了，链接之后，只要对kafak执行操作，就会如下错误，超时

记得部署 kafka 的服务器开放 9092 端口，或者关闭防火墙

在这里插入图片描述

在这里插入图片描述

1.1.3.2、使用认证的方式脚本命令行（链接成功）

1、通用脚本，第一开始因为这里还未创建过topic ，所以没有数据，后面可以再运行一下。

# 进入目录
cd /opt/kafka/kafka_2.13-3.4.1
# 查看当前服务器中的所有 topic
bin/kafka-topics.sh --list --bootstrap-server localhost:9092 --command-config /opt/kafka/kafka_2.13-3.4.1/config/kraft/command_config

# 创建topic 
bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --partitions 1 --replication-factor 1 --topic test  --command-config /opt/kafka/kafka_2.13-3.4.1/config/kraft/command_config

在这里插入图片描述

3、消费者脚本，执行完成后，页面会等待队列消息

# 进入目录
cd /opt/kafka/kafka_2.13-3.4.1
# 消费者链接  --consumer.config 指定消费者配置文件
bin/kafka-console-consumer-sasl.sh --bootstrap-server 127.0.0.1:9092 --topic test --from-beginning --consumer.config config/consumer-sasl.properties

在这里插入图片描述

4、生产者脚本

# 进入目录
cd /opt/kafka/kafka_2.13-3.4.1
# 生产者链接  --producer.config  指定消费者配置文件
bin/kafka-console-producer-sasl.sh --bootstrap-server 127.0.0.1:9092 --topic test --producer.config config/producer-sasl.properties

在这里插入图片描述
此刻，消费者控制台也收到消息了

在这里插入图片描述

5、springBoot 项目，增加账号密码，如下，后面的分号一定不能忘记，加上如下配置之后就可以了

consumer和producer 需要统一配置配置(Kafka stream SASL/PLANTEXT配置也一样，统一配置对stream同样生效)

记得部署 kafka 的服务器开放 9092 端口，或者关闭防火墙

    properties:
      security.protocol: SASL_PLAINTEXT
      sasl.mechanism: PLAIN
      sasl.jaas.config: org.apache.kafka.common.security.plain.PlainLoginModule required username="client" password="client-secret";

在这里插入图片描述

1.2、Kafka with KRaft 单节点 SSL 模式授权

参考这篇文章：写的很好 kafka SSL认证

二、kafka-ui 链接开启认证授权的kafka

1、连接带认证的kafka集群在kafka-ui的github上面也有，但是文章写的不太全面。如果没有配置SASL_PLAINTEXT认证可以参考我之前写的这篇文章 kafka各种环境安装(window,linux,docker,k8s),包含KRaft模式

2、如果kafak开启认证授权，kafka-ui 想要链接它有如下两种方式

  • 一是启动容器镜像的时候配置指定授权信息参数
  • 二是启动容器的时候不配置参数，启动之后，在 kafka-ui的web页面配置指定kafak的授权信息参数 （推荐）

2.1、第一种链接方式

1、连接SASL_PLAINTEXT认证的kafka需要添加如下三个环境变量，其中

-e KAFKA_CLUSTERS_0_PROPERTIES_SECURITY_PROTOCOL=SASL_PLAINTEXT \
-e KAFKA_CLUSTERS_0_PROPERTIES_SASL_MECHANISM=PLAIN \
-e KAFKA_CLUSTERS_0_PROPERTIES_SASL_JAAS_CONFIG='org.apache.kafka.common.security.plain.PlainLoginModule required username="test" password="123456";' \

我这里因为镜像已经前提下载过了，所以就没有显示下载镜像的步骤

docker run -d -p 1992:8080 --name kafka-ui  \
--restart=always \
-v /data/docker/kafka/kafka-ui/config.yml:/etc/kafkaui/dynamic_config.yaml \
-e KAFKA_CLUSTERS_0_NAME=local \
-e KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=192.168.173.129:9092 \
-e DYNAMIC_CONFIG_ENABLED='true' \
-e AUTH_TYPE=LOGIN_FORM   \
-e SPRING_SECURITY_USER_NAME=admin \
-e SPRING_SECURITY_USER_PASSWORD=admin \
-e KAFKA_CLUSTERS_0_PROPERTIES_SECURITY_PROTOCOL=SASL_PLAINTEXT \
-e KAFKA_CLUSTERS_0_PROPERTIES_SASL_MECHANISM=PLAIN \
-e KAFKA_CLUSTERS_0_PROPERTIES_SASL_JAAS_CONFIG='org.apache.kafka.common.security.plain.PlainLoginModule required username="client" password="client-secret";' \
provectuslabs/kafka-ui:latest

在这里插入图片描述

2、如果报错，查看 /data/docker/kafka/kafka-ui/config.yml 文件是否存在，可以先提前创建，参数含义，大家也能看出来，如果有不明白的，大家可以参考我之前写的这篇文章 kafka各种环境安装(window,linux,docker,k8s),包含KRaft模式

3、登录 http://192.168.173.129:1992,密码就是我们在启动时配置的 -e SPRING_SECURITY_USER_NAME和 -e SPRING_SECURITY_USER_PASSWORD admin admin

在这里插入图片描述

4、登录进去如下，如果能获取带信息，就说明没有问题了
在这里插入图片描述

2.2、第二种链接方式（推荐）

1、创建 容器

docker run -d -p 1992:8080 --name kafka-ui  \
--restart=always \
-v /data/docker/kafka/kafka-ui/config.yml:/etc/kafkaui/dynamic_config.yaml \
-e KAFKA_CLUSTERS_0_NAME=local \
-e KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=192.168.173.129:9092 \
-e DYNAMIC_CONFIG_ENABLED='true' \
-e AUTH_TYPE=LOGIN_FORM   \
-e SPRING_SECURITY_USER_NAME=admin \
-e SPRING_SECURITY_USER_PASSWORD=admin \
provectuslabs/kafka-ui:latest

2、访问 web 页面，点击1在列表中可能会出现一个 kafka，你可以选择将它配置，即点击 2 ，或者新建一个 3

在这里插入图片描述

3、配置页面，账号密码是你设置的kafka的账号密码
在这里插入图片描述

4、填写完成之后点击下面的的提交即可
在这里插入图片描述

5、最后页面能正常显示即可

在这里插入图片描述

三、docker-compose （kafka和kafka-ui）

SASL 细分如下 4 小类，这四种都可以使用

类型说明官方文档链接
SASL/GSSAPI (Kerberos)使用的Kerberos认证，可以集成目录服务，比如AD。从Kafka0.9版本开始支持Kerberos
SASL/PLAIN使用简单用户名和密码形式。从Kafka0.10版本开始支持，不支持动态增加账户和密码SASL/PLAIN
SASL/SCRAM-SHA-256主要解决PLAIN动态更新问题以及安全机制，从Kafka0.10.2开始支持SCRAM
SASL/SCRAM-SHA-512主要解决PLAIN动态更新问题以及安全机制，从Kafka0.10.2开始支持SCRAM
SASL/OAUTHBEARER基于OAuth 2认证框架，从Kafka2.0版本开始支持OAUTHBEARER

3.1、使用 KRaft 模式单机安装（SASL/PLAIN 认证方式）

如果不需要授权，也可以参考我写的一篇文章 kafka各种环境安装(window,linux,docker,k8s),包含KRaft模式

1、前置准备

# kafka的挂载
mkdir -p /data/docker/kafka/kafka_data
chown -R 1001:1001 /data/docker/kafka/kafka_data

在这里插入图片描述

2、将下述配置文件copy 一下，最后修改如下，注意替换其中的宿主机ip

cd /opt/kafka/
vim kafka-KRaft-single-auth2.yml

# 宿主机IP: 192.168.173.129
version: "3"

services:
  kafka:
    image: 'bitnami/kafka:3.7.0'
    container_name: kafka
    ports:
      - "9092:9092"
      - "9093:9093"
    restart: always
    environment:
      - ALLOW_PLAINTEXT_LISTENER=yes
      - KAFKA_CFG_NODE_ID=0
      - KAFKA_CFG_PROCESS_ROLES=controller,broker
      - KAFKA_CLIENT_LISTENER_NAME=CLIENT
      - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
      - KAFKA_CFG_INTER_BROKER_LISTENER_NAME=CLIENT
      - KAFKA_CFG_LISTENERS=CLIENT://:9092,CONTROLLER://:9093
      - KAFKA_CFG_ADVERTISED_LISTENERS=CLIENT://192.168.173.129:9092
      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,CLIENT:SASL_PLAINTEXT
      - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=0@kafka:9093
      - KAFKA_CFG_SASL_MECHANISM_INTER_BROKER_PROTOCOL=PLAIN
      - KAFKA_CFG_SASL_ENABLED_MECHANISMS=PLAIN
      - KAFKA_CLIENT_USERS=test
      - KAFKA_CLIENT_PASSWORDS=123456
    volumes:
      - "/data/docker/kafka/kafka_data:/bitnami"
    networks:
      - kafka_net


  kafka-ui:
    image: provectuslabs/kafka-ui:master
    container_name: kafka-ui
    ports:
      - "8910:8080"
    restart: always
    environment:
      - KAFKA_CLUSTERS_0_NAME=local
      - DYNAMIC_CONFIG_ENABLED=true
      - AUTH_TYPE=LOGIN_FORM
      - SPRING_SECURITY_USER_NAME=admin
      - SPRING_SECURITY_USER_PASSWORD=admin
    depends_on:
      - kafka
    networks:
      - kafka_net

networks:
  kafka_net:
    driver: bridge

3、运行结果，其中kafka的镜像我已经提前下载好了，所以没有显示

# 记得删除停掉之前的 
# docker-compose -f kafka-KRaft-single.yml down -v
docker-compose -f kafka-KRaft-single-auth2.yml up -d

4、访问 web-ui,账号密码 admin admin ，这个配置大家可以访问 github 去官方网站查看文档，说的还是很详细的 github-kafka-ui

http://192.168.173.129:8910/

在这里插入图片描述

5、进入之后，配置相关信息后，点击下面的提交

在这里插入图片描述
在这里插入图片描述

6、刷新重新进入，如果在转圈圈就稍微等一下，开启认证的时候会慢些

在这里插入图片描述

在这里插入图片描述

7、代码中链接使用 ，下述的1，2，3处我们可以从web ui页面的配置信息赖copy

第一次链接授权的 kafka 感觉都非常满，需要稍微等一会

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

8、如果我们填写错误账号密码，会提错误账号密码信息

在这里插入图片描述

9、最后，保险起见，去看下 kafka和kafka-ui容器日志，查看无错误信息了，就可以了

docker logs -f --tail 200 kafka-ui
docker logs -f --tail 200 kafka

3.1、使用 KRaft 模式单机安装（SASL/SCRAM-SHA-512）

1、这个和 SASL/PLAIN 认证方式 差不多，我们将 SASL/PLAIN的删掉

# 删除容器
docker-compose -f kafka-KRaft-single-auth2.yml down -v
# 删除宿主机挂载目录
rm -rf /data/docker/kafka

2、创建 kafka-KRaft-single-auth1.yml 文件，其中文件内容和 SASL/PLAIN几乎差不多，只有两处不一样，即将的值换成对应的模式

  • KAFKA_CFG_SASL_MECHANISM_INTER_BROKER_PROTOCOL
  • KAFKA_CFG_SASL_ENABLED_MECHANISMS
SASL/PLAINSASL/SCRAM-SHA-512
PLAINSCRAM-SHA-512
PLAINSCRAM-SHA-512
version: "3"

services:
  kafka:
    image: 'bitnami/kafka:3.7.0'
    container_name: kafka
    ports:
      - "9092:9092"
      - "9093:9093"
    restart: always
    environment:
      - ALLOW_PLAINTEXT_LISTENER=yes
      - KAFKA_CFG_NODE_ID=0
      - KAFKA_CFG_PROCESS_ROLES=controller,broker
      - KAFKA_CLIENT_LISTENER_NAME=CLIENT
      - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
      - KAFKA_CFG_INTER_BROKER_LISTENER_NAME=CLIENT
      - KAFKA_CFG_LISTENERS=CLIENT://:9092,CONTROLLER://:9093
      - KAFKA_CFG_ADVERTISED_LISTENERS=CLIENT://192.168.173.129:9092
      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,CLIENT:SASL_PLAINTEXT
      - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=0@kafka:9093
      - KAFKA_CFG_SASL_MECHANISM_INTER_BROKER_PROTOCOL=SCRAM-SHA-512
      - KAFKA_CFG_SASL_ENABLED_MECHANISMS=SCRAM-SHA-512
      - KAFKA_CLIENT_USERS=test
      - KAFKA_CLIENT_PASSWORDS=123456
    volumes:
      - "/data/docker/kafka/kafka_data:/bitnami"
    networks:
      - kafka_net


  kafka-ui:
    image: provectuslabs/kafka-ui:master
    container_name: kafka-ui
    ports:
      - "8910:8080"
    restart: always
    environment:
      - KAFKA_CLUSTERS_0_NAME=local
      - DYNAMIC_CONFIG_ENABLED=true
      - AUTH_TYPE=LOGIN_FORM
      - SPRING_SECURITY_USER_NAME=admin
      - SPRING_SECURITY_USER_PASSWORD=admin
    depends_on:
      - kafka
    networks:
      - kafka_net

networks:
  kafka_net:
    driver: bridge

3、启动

# kafka的挂载
mkdir -p /data/docker/kafka/kafka_data
chown -R 1001:1001 /data/docker/kafka/kafka_data
docker-compose -f kafka-KRaft-single-auth1.yml up -d

4、web页面配置

在这里插入图片描述

5、代码配置
在这里插入图片描述

四、参考文章

灵泽~
关注
专栏目录
Kafka 开启SASL/SCRAM认证 及 ACL授权（一）认证
代码讲故事
10-13 1035
Kafka 开启SASL/SCRAM认证 及 ACL授权（一）认证。
KAFKA权限配置SASL/PLAIN身份验证
01-07
zookeeper集群SASL认证&KAFKA权限配置SASL/PLAIN身份验证 配置环境 JKD: 1.8 Kafka: 2.3.0 Zookeeper: 3.4.14 服务器名 kafka内网IP:PORT kafka外网IP:PORT zookeeper内网IP:PORT KAFKA01 192.168.1.157:9092 116.155.153.185:19092 192.168.1.157:2181 KAFKA02 192.168.1.158:9092 116.155.153.185:29092 192.168.1.157:2181 KAFKA03 192
Kafka配置SASL认证
Healer_银尘的博客
07-12 803
在本博客中我们使用SASL/PLAIN的方式来进行Kafka加密。
Kafka Client客户端操作详解
最新发布
qq_44027353的博客
08-08 2402
Kafka 客户端详细属性介绍
Apache zookeeper kafka 开启SASL安全认证
heming20122012的专栏
03-13 2935
Kafka是一个高吞吐量、分布式的发布-订阅消息系统。Kafka核心模块使用Scala语言开发，支持多语言（如Java、Python、Go等）客户端，它可以水平扩展和具有高吞吐量特性而被广泛使用，并与多类开源分布式处理系统进行集成使用。Kafka作为一款开源的、轻量级的、分布式、可分区和具备复制备份的、基于ZooKeeper协调管理的分布式流平台的功能强大的消息系统。与传统消息系统相比，Kafka能够更好的处理活跃的流数据，让数据在各个子系统中高性能、低延迟地不停流转。
kafka安全认证与授权（SASL-PLAIN）
Innocence_0的博客
02-25 1498
网络安全行业产业以来，随即新增加了几十个网络安全行业岗位︰网络安全专家、网络安全分析师、安全咨询师、网络安全工程师、安全架构师、安全运维工程师、渗透工程师、信息安全管理员、数据安全工程师、网络安全运营工程师、网络安全应急响应工程师、数据鉴定师、网络安全产品经理、网络安全服务工程师、网络安全培训师、网络安全审计员、威胁情报分析工程师、灾难恢复专业人员、实战攻防专业人员…这是通过在规则末尾添加“/L”来完成的。这是一个争议比较大的问题，有的人会建议先学编程，而有的人会建议先学计算机基础，其实这都是要学的。
kafka 开启用户认证
acoolper的专栏
03-13 999
【代码】kafka 开启用户认证。
开启kafka密码认证
热门推荐
雅冰石的专栏
04-02 1万+
Kafka默认未开启密码认证，可以免密登录，太不安全，因此需要开启密码认证。 一 kafka认证方式类型 kafka提供了多种安全认证机制，主要分为SSL和SASL大类。其中SASL/PLAIN是基于账号密码的认证方式，比较常用 1.1 SSL 1.2 SASL 1.2.1 SASL/Kerberos 1.2.2 SASL/PLAIN 1.2.3 SASL/SCRAM 二 测试SASL/PLAIN进行身份验证 SASL/PLAIN是一种简单的用户名/密码身份..
kafka权限认证 topic权限认证 权限动态认证-亲测成功
yinjl123456的博客
11-20 1762
1、Kafka的权限分类身份认证（Authentication）：对client 与服务器的连接进行身份认证，brokers和zookeeper之间的连接进行Authentication（producer 和 consumer）、其他 brokers、tools与 brokers 之间连接的认证。上一篇博文介绍了连接的身份认证。权限控制（Authorization）：实现对于消息级别的权限控制，clients的读写操作进行Authorization：（生产/消费/group)数据权限。
Kafka安全模式之身份认证
weixin_42556307的博客
02-27 3032
SASL-PLAIN方式是一个经典的用户名/密码的认证方式，其中用户名和密码是以明文形式保存在服务端的JAAS配置文件中的，当客户端使用PLAIN模式进行认证时，密码是明文传输的，因此安全性较低，但好处是足够简单，方便我们对其进行二次开发，在0.10版本引入。在kafka身份认证的过程中，需要的principal，keytab，ServiceName等信息均配置在jaas文件中，因此保证认证的服务可以读取到正确的文件及正确的配置是kafka安全模式下认证的核心。解决办法是找第三方提供。
2024年最新Apache zookeeper kafka 开启SASL安全认证_kafka开启认证
2401_84302369的博客
05-01 1579
在实际的渗透测试过程中，面对复杂多变的网络环境，当常用工具不能满足实际需求的时候，往往需要对现有工具进行扩展，或者编写符合我们要求的工具、自动化脚本，这个时候就需要具备一定的编程能力。使用kafka-console-producer.sh脚本测试生产者，由于开启安全认证和授权，此时使用console-producer脚本来尝试发送消息，那么消息会发送失败，原因是没有指定合法的认证用户，因此客户端需要做相应的配置，需要创建一个名为producer.conf的配置文件给producer程序使用。
kafka 配置kerberos安全认证
01-28
这个里面是kafka配置kerberos的详细步骤，其方式也可以应用到kafka自带的认证体系
Kafka 开启SASL/SCRAM认证 及 ACL授权（三）验证
代码讲故事
10-13 938
输出 : output: :11> (test,hello,world) 若用户信息出错，flink不断重试，报错 2022-02-17 11:16:23,078 WARN org.apache.flink.runtime.taskmanager.Task [] - Source: kfk_source -> null filter -> Sink: Print to Std. Out (6/12)#4 (cef5d8a9796c4b405d44f145e52ae
kafka 开启用户认证_kafka assistant会员
2401_84182146的博客
04-11 238
(img-NHncrpdN-1712849268814)]源码讲义、实战项目、讲解视频，并且后续会持续更新**
Kafka安全认证机制详解之SASL_PLAIN_kafka sasl认证
2401_84264630的博客
04-26 1330
这个时候使用auth.conf已经不能创建topic了，使用admin.conf可以创建，因为admin账号和配置的超级管理员一致；而auth.conf配置的是tly账号；使用权限配置并且超级用户是admin，这个用户和我们上面配置的列表中的admin用户相互映射，每个机器都需要配置然后重启所有节点。不使用认证创建会一直卡主不动，其实也是没权限的，时间久了就会报timeout异常。命令为：kafka-acls.sh。使用tly用户查看当前topic。此时每个节点都有了权限认证。给之前的用户tly授权。
kafka权限认证
mtj66的博客，交流WX:SpringBreeze1104
02-27 3036
最近公司因为用的云服务器，需要保证kafka的安全性。可喜的是kafka0.9开始，已经支持权限控制了。网上中文资料又少，特此基于kafka0.9，记录kafaka的权限控制 ( flume需要1.7及其以上才支持kafka的SSL认证)。 下面各位看官跟着小二一起开始kafak权限认证之旅吧！嘎嘎嘎！ 介绍： kafka权限控制整体可以分为三种类型： 1.基于SSL(CDH 5.8不...
Kafka的认证
Linux_cui的博客
12-09 4641
kafka认证
kafka开启SSL认证（包括内置zookeeper开启SSL）
m0_37817986的博客
11-09 1838
zookeeper和kafka的SSL开启都可独立进行。
kafka 开启用户认证_kafka assistant会员(1)
2401_84182146的博客
04-11 223
(img-wTAWILSQ-1712849237956)]源码讲义、实战项目、讲解视频，并且后续会持续更新**
kafka开启认证 命令报错
05-13
可能是您的命令不正确或者缺少必要的参数。在启用Kafka认证时，需要在配置文件中指定认证机制、认证用户和密码。以下是一个示例命令： ``` bin/kafka-server-start.sh config/server.properties --override security.protocol=SASL_PLAINTEXT --override sasl.mechanism=PLAIN --override sasl.enabled.mechanisms=PLAIN --override sasl.jaas.config="org.apache.kafka.common.security.plain.PlainLoginModule required username=\"myuser\" password=\"mypassword\";" ``` 请注意，这个示例命令中的`myuser`和`mypassword`应该替换为您实际使用的用户名和密码。 如果您仍然遇到问题，请提供更详细的错误信息，以便我们更好地帮助您解决问题。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值