网络安全最新Apache zookeeper kafka 开启SASL安全认证_kafka开启认证(1)，2024年最新带你一步一步深入Handler源码

最新推荐文章于 2024-09-21 16:35:15 发布
最新推荐文章于 2024-09-21 16:35:15 发布
阅读量626 收藏 22
点赞数 26
分类专栏： 程序员 文章标签： 网络安全 学习 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84302761/article/details/138636669
版权

一、网安学习成长路线图

网安所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
在这里插入图片描述

二、网安视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
在这里插入图片描述

三、精品网安学习书籍

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
在这里插入图片描述

四、网络安全源码合集+工具包

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述

五、网络安全面试题

最后就是大家最关心的网络安全面试题板块
在这里插入图片描述在这里插入图片描述

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

1. 创建用户

配置SASL/SCRAM认证的第一步，是配置可以连接到kafka集群的用户。本案例创建了3个用户：admin，producer，consumer。kafka_server_admin用户用于broker之间的认证通信，producer用户用于生产者连接kafka，consumer用户用于消费者连接kafka 。

./kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'SCRAM-SHA-256=[iterations=8192,password=admin123],SCRAM-SHA-512=[password=admin123]' --entity-type users --entity-name admin
 
./kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'SCRAM-SHA-256=[iterations=8192,password=admin123],SCRAM-SHA-512=[password=admin123]' --entity-type users --entity-name producer
 
./kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'SCRAM-SHA-256=[iterations=8192,password=admin123],SCRAM-SHA-512=[password=admin123]' --entity-type users --entity-name consumer

2. 查看创建的用户信息

kafka-configs 脚本是用来设置主题级别参数的。其实，它的功能还有很多。比如在这个例子中，我们使用它来创建 SASL/SCRAM 认证中的用户信息。可以使用下列命令来查看刚才创建的用户数据。

./kafka-configs.sh --zookeeper localhost:2181 --describe --entity-type users 
 
#（可以单独指定某个用户 --entity-name producer，如下）
./kafka-configs.sh --zookeeper localhost:2181 --describe --entity-type users --entity-name producer


ZK客户端命令行查看：
 
./zkCli.sh  -server localhost:2181
 
ls /config/users

3. 配置kafka jaas文件

配置了用户之后，我们需要为 Broker 创建一个对应的 JAAS 文件。在实际场景中，需要为每台单独的物理 Broker 机器都创建一份 JAAS 文件。

Kafka 的 jaas认证配置文件，配置的是登录类，超管密码和管理的帐号密码列表

vim kafka_server_jaas.conf

KafkaServer {
    org.apache.kafka.common.security.scram.ScramLoginModule required
    username ="admin"
    password="admin123"
    user_admin="admin123"
    user_producer="producer123"
    user_consumer="consumer123";
};
KafkaClient {
    org.apache.kafka.common.security.scram.ScramLoginModule required
    username="admin"
    password="admin123"
    user_producer="producer123"
    user_consumer="consumer123";
};
Client {
    org.apache.kafka.common.security.scram.ScramLoginModule required
    username="kafka"
    password="kafka123";
};

KafkaServer中usename配置的是kafka服务端使用的账号和密码，后面的user_xxx事预设的普通帐号认证信息。
 
中间部分配置的是PLAIN认证方式的账户和密码，其中producer1是账户名，producer123是密码。
Client配置了broker到Zookeeper的连接用户名密码，这里要和前面zookeeper配置中的zk_jaas.conf.conf 中 user_kafka 的账号和密码相同。
 
关于这个文件内容，需要注意以下两点：
 
1）不要忘记最后一行和倒数第二行结尾处的分号；
 
2）JAAS 文件中不需要任何空格键。

4. kafka 配置文件启用SASL认证

Kafka 服务配置文件 server.propertis，配置认证协议及认证实现类
cat server.properties其它内容都注释掉，然后追加如下内容：

broker.id=0
listeners=SASL_PLAINTEXT://:9092
advertised.listeners=SASL_PLAINTEXT://localhost:9092
sasl.enabled.mechanisms=SCRAM-SHA-256,PLAIN
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
security.inter.broker.protocol=SASL_PLAINTEXT
allow.everyone.if.no.acl.found=false
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
super.users=User:admin
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka/logs
num.partitions=3
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.retention.hours=168
log.retention.bytes=1073741824
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
delete.topic.enable=true
auto.create.topics.enable=false
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=60000
group.initial.rebalance.delay.ms=0

Host.name=43.138.0.199
5. kafka 启动脚本添加认证文件路径的环境变量

Kafka 安全认证可以直接通过环境变量 -Djava.security.auth.login.config 设置，修改 Kafka 启动脚本 kafka-start-server.sh 文件最后一行，增加一个参数指向 jaas 配置文件的绝对路径

vi kafka-server-start.sh

exec $base_dir/kafka-run-class.sh $EXTRA_ARGS -Djava.security.auth.login.config=/home/lighthouse/kafka_2.12-2.2.1/config/kafka_server_jaas.conf  kafka.Kafka "$@"
6. kafka客户端配置

1) 配置consumer.properties和producer.properties,都要加入以下配置

security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-512

2) 生产者配置

使用kafka-console-producer.sh脚本测试生产者，由于开启安全认证和授权，此时使用console-producer脚本来尝试发送消息，那么消息会发送失败，原因是没有指定合法的认证用户，因此客户端需要做相应的配置，需要创建一个名为producer.conf的配置文件给producer程序使用。

config目录下创建一个producer.conf的文件，cat producer.conf文件内容如下：

security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256
sasl.jaas.config=org.apache.kafka.common.security.scram.Scra
mLoginModule required username="producer" password="producer123";

注意：Topic设置写权限

3) 消费者配置

使用kafka-console-consumer.sh脚本测试生产者，由于开启安全认证和授权，因此客户端需要做相应的配置。需要为 consumer 用户创建consumer.conf给消费者程序，同时设置对topic的读权限。

config目录下创建一个consumer.conf的文件，cat consumer.conf文件内容如下：

security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256
sasl.jaas.config=org.apache.kafka.common.security.scram.Scra
mLoginModule required username="consumer" password="consumer123";

注意：Topic设置读权限。

4) 在生产者和消费者启动脚本中引入JAAS文件

vim bin/kafka-console-producer.sh
 
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx512M"
fi
 
# 添加这行
export KAFKA_OPTS="-Djava.security.auth.login.config=../config/kafka_server_jaas.conf"
 
exec $(dirname $0)/kafka-run-class.sh kafka.tools.ConsoleProducer "$@"
 
 
# vim bin/kafka-console-consumer.sh
 
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx512M"
fi
 
# 添加这行
export KAFKA_OPTS="-Djava.security.auth.login.config=../config/kafka_server_jaas.conf"
 
exec $(dirname $0)/kafka-run-class.sh kafka.tools.ConsoleConsumer "$@"

启动kafka

nohup kafka-server-start.sh /path-to-kafka/config/server.properties &

我自己写了一个脚本，同时启动zookeeper和kafka

文件名称叫startup.sh内容如下：

cd /home/lighthouse/zk-3.4.14/zookeeper-3.4.14/bin
./zkServer.sh start
cd /home/lighthouse/kafka_2.12-2.2.1/
nohup bin/kafka-server-start.sh config/server.properties > output.txt &

zookeeper没有启动成功，我找下原因。把整个过程重新整理了一遍，发现zookeeper、kafka启动成功了。

检查验证

./zkCli.sh  -server localhost:2181

ls /brokers/ids

1. 生产者测试

1） 创建一个测试主题test_topic

./kafka-topics.sh --zookeeper localhost:2181 --create --replication-factor 1 --partitions 1 --topic test_topic

2）查看创建的Topic

./kafka-topics.sh  --list --zookeeper localhost:2181 test_topic


### 给大家的福利


**零基础入门**


对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。


![](https://img-blog.csdnimg.cn/img_convert/95608e9062782d28f4f04f821405d99a.png)


同时每个成长路线对应的板块都有配套的视频提供：


![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/a91b9e8100834e9291cfcf1695d8cd42.png#pic_center)


因篇幅有限，仅展示部分资料


网络安全面试题


![](https://img-blog.csdnimg.cn/img_convert/80674985176a4889f7bb130756893764.png)


绿盟护网行动


![](https://img-blog.csdnimg.cn/img_convert/9f3395407120bb0e1b5bf17bb6b6c743.png)


还有大家最喜欢的黑客技术


![](https://img-blog.csdnimg.cn/img_convert/5912337446dee53639406fead3d3f03c.jpeg)


**网络安全源码合集+工具包**


![](https://img-blog.csdnimg.cn/img_convert/5072ce807750c7ec721c2501c29cb7d5.png)


![](https://img-blog.csdnimg.cn/img_convert/4a5f4281817dc4613353c120c9543810.png)

**所有资料共282G**，朋友们如果有需要全套《网络安全入门+黑客进阶学习资源包》，可以扫描下方二维码领取（如遇扫码问题，可以在评论区留言领取哦）~




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以点击这里获取](https://bbs.csdn.net/topics/618540462)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
2401_84302761
关注
专栏目录
kafka最新版本3.1.0版本安装（使用zookeeper及使用kraft）两种安装及日常维护命令，kafka 3.0
05-11
获取 Kafka 和 Zookeeper 的最新版本，例如 Kafka 3.1.0 和 Zookeeper 3.8.0。 ``` wget https://mirrors.cloud.tencent.com/apache/kafka/3.1.0/kafka_2.13-3.1.0.tgz wget ...
kafka使用SASL认证
热门推荐
挖矿的小强的博客
12-03 2万+
1. JAAS配置 Kafka使用Java认证和授权服务（JAAS）进行SASL配置。 为broker配置JAAS KafkaServer是每个KafkaServer/Broker使用JAAS文件中的部分名称。本节为broker提供了SASL配置选项，包括进行broker之间通信所需的任何SASL客户端连接。 客户端部分用于验证与zookeeper的SASL连接。它还允许broke...
[zookeeper] SASL(Simple Authentication and Security Layer) 用户名密码认证配置
FaceFullofConfused的博客
07-12 6096
使用zookeeper zkCli.sh 连接 zookeeper服务时，默认裸连，晓得ip与端口之后即可连接zookeeper服务，本文使用SASL 用户名密码配置服务端与客户端，在zkCli连接前，服务端配置xxxjaas.conf保存用户名密码，客户端（也就是zkCli或者各种语言的sdk）连接时同样也需要xxxjaas.conf文件来进行认证。
Apache zookeeper kafka 开启SASL安全认证
最新发布
2401_87298714的博客
09-21 1106
使用kafka-console-producer.sh脚本测试生产者，由于开启安全认证和授权，此时使用console-producer脚本来尝试发送消息，那么消息会发送失败，原因是没有指定合法的认证用户，因此客户端需要做相应的配置，需要创建一个名为producer.conf的配置文件给producer程序使用。Client配置了broker到Zookeeper的连接用户名密码，这里要和前面zookeeper配置中的zk_jaas.conf.conf 中 user_kafka 的账号和密码相同。
Kafka增加安全验证安全认证，SASL认证，并通过spring boot-Java客户端连接配置
Innocence_0的博客
02-25 2399
第一种是报网络安全专业，现在叫网络空间安全专业，主要专业课程:程序设计、计算机组成原理原理、数据结构、操作系统原理、数据库系统、 计算机网络、人工智能、自然语言处理、社会计算、网络安全法律法规、网络安全、内容安全、数字取证、机器学习，多媒体技术，信息检索、舆情分析等。从时代发展的角度看，网络安全的知识是学不完的，而且以后要学的会更多，同学们要摆正心态，既然选择入门网络安全，就不能仅仅只是入门程度而已，能力越强机会才越多。中的不同客户机可以通过指定不同的用户名作为不同的用户进行连接 和 中的密码。
Apache zookeeper kafka 开启SASL安全认证 —— 筑梦之路
筑梦之路
08-23 4920
Kafka是一个高吞吐量、分布式的发布-订阅消息系统。Kafka核心模块使用Scala语言开发，支持多语言（如Java、Python、Go等）客户端，它可以水平扩展和具有高吞吐量特性而被广泛使用，并与多类开源分布式处理系统进行集成使用。Kafka作为一款开源的、轻量级的、分布式、可分区和具备复制备份的、基于ZooKeeper协调管理的分布式流平台的功能强大的消息系统。与传统消息系统相比，Kafka能够更好的处理活跃的流数据，让数据在各个子系统中高性能、低延迟地不停流转。
Kafka动态认证SASL/SCRAM配置+整合springboot配置
weixin_52925162的博客
11-11 9002
Kafka动态认证SASL/SCRAM配置+整合springboot配置
apache-kafka-documentation-cn.zip_apache kafka_kafka
09-23
Kafka 支持SASL和SSL/TLS 加密，提供用户认证和数据传输安全。 **8. 性能与扩展性** Kafka 具有高吞吐量和低延迟的特性，通过增加更多的节点来横向扩展集群，可以处理PB级别的数据。 **9. ZooKeeper 集成** Kafka ...
bitnami版本的zookeeper和kafka的docker-compose配置
02-15
这个Docker Compose 文件定义了一个包含Zookeeper和三个Kafka节点的服务集群。通过指定镜像、端口映射、环境变量和依赖关系等配置，实现了Zookeeper和Kafka的快速部署和集成。同时，在定义了一个名为"mynetwork"的...
分布式服务Dubbo+Zookeeper安全认证实例
08-28
Dubbo+Zookeeper分布式服务安全认证实例 Dubbo是一个基于Java的开源框架，用于开发高性能、可扩展的分布式服务，而Zookeeper是一个基于Java的分布式应用程序协调服务，它提供了高性能、可扩展、可靠的协调服务。 ...
使用sasl的kafka集群的搭建使用
03-15
Kafka集群搭建和使用过程涉及多个技术要点和配置项，包括SASL安全机制、ACL权限设置、Kafka基础概念以及安装配置步骤等。下面将详细介绍这些知识点。 首先，SASL（Simple Authentication and Security Layer）是为C...
Kafka3.0 SASL安全认证
binter12138的博客
04-20 6816
下面主要介绍Kafka两种认证方式 kafka验证方式： SASL/PLAIN：不能动态添加用户配置文件写死账号密码 SASL/SCRAM： 可以动态的添加用户 SASL/PLAIN方式 cd /usr/local/kafka/kafka_2.12-3.0.1/bin/ ## 复制一份sasl cp kafka-server-start.sh kafka-server-start-sasl.sh 在kafka-server-start-sasl.sh 末尾修改配置 exe
Kafka启用SASL_PLAINTEXT动态配置JAAS文件的几种方式
russle的专栏
07-14 2万+
Kafka是广泛使用消息服务，很多情况下关于认证部分我都是默认的配置，也就是不需要用户名/密码，也不配置证书。在内网或者在项目组内部可以，但是设计的跨部门时一般处于安全考虑都需要加上认证，防止kafka被误用，产生大量垃圾信息，干扰了正常业务的运行。 Kafka提供的多种认证方式，比如SASL, 本文主要介绍启用了SASL_PLAINTEXT时，如何在kafka client配置jaas文件，以...
实战：kafka、zookeeper SASL+ACL实现动态权限认证、授权
u011618288的博客
02-18 7286
kafka基于SASL/SCRAM 集合zookeeper SASL，实现安全认证、权限校验ACL。
zookeeper开启SASL权限认证
cj_eryue的博客
07-25 2321
ZooKeeper 不使用任何形式的身份验证并允许匿名连接。但是，它支持 Java 身份验证与授权服务(JAAS)，可用于使用简单身份验证和安全层(SASL)设置身份验证
Kafka+zookeeper安装及sasl认证（二）
qq_43700739的博客
03-31 4496
kafka安全认证sasl 一、环境 kafka_2.13-2.8.0，zookeeper-3.6.3（这里不是用kafka自带的zookeeper） 二、修改配置文件 1、zookeeper配置 （1）为zookeeper添加SASL支持，在conf下配置文件zoo.cfg添加 authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider requireClientAuthScheme=sasl jaasLoginRe
Zookeeper（Kafka内置）单独添加SASL认证及ACL
Sayai的专栏
07-16 1424
通常，我们会给Kafka增加SASL以加强对kafka的安全访问，以满足漏扫对于kafka的访问安全漏扫要求。但漏扫的时候也会同样会对Kafka集群中的zk集群进行扫描。所以zk集群同样涉及到要配置kafka的安全认证。
kafka集群及SASL认证设置
qq_34324703的博客
08-02 171
【代码】kafka集群。
kafka开启SASL认证配置并开启外网访问
05-27
要在Kafka中开启SASL认证配置并开启外网访问，需要按照以下步骤进行配置： 1. 在Kafka配置文件server.properties中，设置以下属性： ``` listeners=SASL_PLAINTEXT://<your-kafka-hostname>:9092 advertised....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值