最新Apache zookeeper kafka 开启SASL安全认证_kafka开启认证(1),原理竟然是这

还有兄弟不知道网络安全面试可以提前刷题吗?费时一周整理的160+网络安全面试题,金九银十,做网络安全面试里的显眼包!

王岚嵚工程师面试题(附答案),只能帮兄弟们到这儿了!如果你能答对70%,找一个安全工作,问题不大。

对于有1-3年工作经验,想要跳槽的朋友来说,也是很好的温习资料!

【完整版领取方式在文末!!】

93道网络安全面试题

内容实在太多,不一一截图了

黑客学习资源推荐

最后给大家分享一份全套的网络安全学习资料,给那些想学习 网络安全的小伙伴们一点帮助!

对于从来没有接触过网络安全的同学,我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。

1️⃣零基础入门
① 学习路线

对于从来没有接触过网络安全的同学,我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。

image

② 路线对应学习视频

同时每个成长路线对应的板块都有配套的视频提供:

image-20231025112050764

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以点击这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

Server {
org.apache.zookeeper.server.auth.DigestLoginModule required
username=“admin”
password=“admin123”
user_kafka=“kafka123”;
};


1. 注意:admin用户 是zk 集群之间使用的。kafka用户 是 broker 与 zk 之间使用的。


#### 3. **修改zkEnv.sh**



将上一步添加的 jaas 配置文件添加到zookeeper的环境变量中,zkEnv.sh文件最后添加一行:

vim zkEnv.sh

ZOOBINDIR=“ Z O O B I N D I R : − / u s r / b i n " Z O O K E E P E R P R E F I X = " {ZOOBINDIR:-/usr/bin}" ZOOKEEPER_PREFIX=" ZOOBINDIR:/usr/bin"ZOOKEEPERPREFIX="{ZOOBINDIR}/…”

添加如下 新增变量SERVER_JVMFLAGS:

export SERVER_JVMFLAGS=“-Djava.security.auth.login.config=…/conf/zk_jaas.conf”


### 配置kafka sasl动态认证



SASL/SCRAM认证是把凭证(credential)存储在Zookeeper,使用kafka-configs.sh在Zookeeper中创建凭据。对于每个SCRAM机制,必须添加具有机制名称的配置来创建凭证,所以在启动Kafka broker之前需要创建代理间通信的凭据。

这里配置的 Kafka和生产者/消费者之间 采用SASL/PLAIN和SASL/SCRAM两种方式共同完成认证,授权使用ACL方式。PLAIN方式的用户是在jaas文件中写死的,不能动态的添加;SCRAM支持动态的添加用户。


#### 1. 创建用户


配置SASL/SCRAM认证的第一步,是配置可以连接到kafka集群的用户。本案例创建了3个用户:admin,producer,consumer。kafka\_server\_admin用户用于broker之间的认证通信,producer用户用于生产者连接kafka,consumer用户用于消费者连接kafka 。



./kafka-configs.sh --zookeeper localhost:2181 --alter --add-config ‘SCRAM-SHA-256=[iterations=8192,password=admin123],SCRAM-SHA-512=[password=admin123]’ --entity-type users --entity-name admin

./kafka-configs.sh --zookeeper localhost:2181 --alter --add-config ‘SCRAM-SHA-256=[iterations=8192,password=admin123],SCRAM-SHA-512=[password=admin123]’ --entity-type users --entity-name producer

./kafka-configs.sh --zookeeper localhost:2181 --alter --add-config ‘SCRAM-SHA-256=[iterations=8192,password=admin123],SCRAM-SHA-512=[password=admin123]’ --entity-type users --entity-name consumer


![](https://img-blog.csdnimg.cn/direct/01d43ab880bb4bccbe90298b6d7eb5a4.png)



#### 2. 查看创建的用户信息


kafka-configs 脚本是用来设置主题级别参数的。其实,它的功能还有很多。比如在这个例子中,我们使用它来创建 SASL/SCRAM 认证中的用户信息。可以使用下列命令来查看刚才创建的用户数据。



./kafka-configs.sh --zookeeper localhost:2181 --describe --entity-type users

#(可以单独指定某个用户 --entity-name producer,如下)
./kafka-configs.sh --zookeeper localhost:2181 --describe --entity-type users --entity-name producer


![](https://img-blog.csdnimg.cn/direct/79275041894d49d99321a3e7873a9cb5.png)


![](https://img-blog.csdnimg.cn/direct/e0259b143f714fd4ae54e1b38b7519ad.png)



ZK客户端命令行查看:

./zkCli.sh -server localhost:2181

ls /config/users


![](https://img-blog.csdnimg.cn/direct/f69f33b546d441a4811b127c023a374f.png)


#### 3. **配置kafka jaas文件**


配置了用户之后,我们需要为 Broker 创建一个对应的 JAAS 文件。在实际场景中,需要为每台单独的物理 Broker 机器都创建一份 JAAS 文件。


Kafka 的 jaas认证配置文件,配置的是登录类,超管密码和管理的帐号密码列表


vim kafka\_server\_jaas.conf



KafkaServer {
org.apache.kafka.common.security.scram.ScramLoginModule required
username =“admin”
password=“admin123”
user_admin=“admin123”
user_producer=“producer123”
user_consumer=“consumer123”;
};
KafkaClient {
org.apache.kafka.common.security.scram.ScramLoginModule required
username=“admin”
password=“admin123”
user_producer=“producer123”
user_consumer=“consumer123”;
};
Client {
org.apache.kafka.common.security.scram.ScramLoginModule required
username=“kafka”
password=“kafka123”;
};


KafkaServer中usename配置的是kafka服务端使用的账号和密码,后面的user\_xxx事预设的普通帐号认证信息。  
    
 中间部分配置的是PLAIN认证方式的账户和密码,其中producer1是账户名,producer123是密码。  
 Client配置了broker到Zookeeper的连接用户名密码,这里要和前面zookeeper配置中的zk\_jaas.conf.conf 中 user\_kafka 的账号和密码相同。  
    
 关于这个文件内容,需要注意以下两点:  
    
 1)不要忘记最后一行和倒数第二行结尾处的分号;  
    
 2)JAAS 文件中不需要任何空格键。


#### 4. **kafka 配置文件启用SASL认证**


Kafka 服务配置文件 server.propertis,配置认证协议及认证实现类  
 cat server.properties其它内容都注释掉,然后追加如下内容:



broker.id=0
listeners=SASL_PLAINTEXT://:9092
advertised.listeners=SASL_PLAINTEXT://localhost:9092
sasl.enabled.mechanisms=SCRAM-SHA-256,PLAIN
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
security.inter.broker.protocol=SASL_PLAINTEXT
allow.everyone.if.no.acl.found=false
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
super.users=User:admin
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka/logs
num.partitions=3
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.retention.hours=168
log.retention.bytes=1073741824
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
delete.topic.enable=true
auto.create.topics.enable=false
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=60000
group.initial.rebalance.delay.ms=0

Host.name=43.138.0.199



#### 5. **kafka 启动脚本添加认证文件路径的环境变量**


Kafka 安全认证可以直接通过环境变量 -Djava.security.auth.login.config 设置,修改 Kafka 启动脚本 kafka-start-server.sh 文件最后一行,增加一个参数指向 jaas 配置文件的绝对路径


vi kafka-server-start.sh



exec $base_dir/kafka-run-class.sh E X T R A A R G S − D j a v a . s e c u r i t y . a u t h . l o g i n . c o n f i g = / h o m e / l i g h t h o u s e / k a f k a 2 . 12 − 2.2.1 / c o n f i g / k a f k a s e r v e r j a a s . c o n f k a f k a . K a f k a " EXTRA_ARGS -Djava.security.auth.login.config=/home/lighthouse/kafka_2.12-2.2.1/config/kafka_server_jaas.conf kafka.Kafka " EXTRAARGSDjava.security.auth.login.config=/home/lighthouse/kafka2.122.2.1/config/kafkaserverjaas.confkafka.Kafka"@"


####  6. **kafka客户端配置**


1) 配置consumer.properties和producer.properties,都要加入以下配置



security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-512


2) 生产者配置


使用kafka-console-producer.sh脚本测试生产者,由于开启安全认证和授权,此时使用console-producer脚本来尝试发送消息,那么消息会发送失败,原因是没有指定合法的认证用户,因此客户端需要做相应的配置,需要创建一个名为producer.conf的配置文件给producer程序使用。


config目录下创建一个producer.conf的文件,cat producer.conf文件内容如下:



security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256
sasl.jaas.config=org.apache.kafka.common.security.scram.Scra
mLoginModule required username=“producer” password=“producer123”;


注意:Topic设置写权限


3) 消费者配置


使用kafka-console-consumer.sh脚本测试生产者,由于开启安全认证和授权,因此客户端需要做相应的配置。需要为 consumer 用户创建consumer.conf给消费者程序,同时设置对topic的读权限。


config目录下创建一个consumer.conf的文件,cat consumer.conf文件内容如下:



security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256
sasl.jaas.config=org.apache.kafka.common.security.scram.Scra
mLoginModule required username=“consumer” password=“consumer123”;


注意:Topic设置读权限。


4) 在生产者和消费者启动脚本中引入JAAS文件



vim bin/kafka-console-producer.sh

if [ “x$KAFKA_HEAP_OPTS” = “x” ]; then
export KAFKA_HEAP_OPTS=“-Xmx512M”
fi

添加这行

export KAFKA_OPTS=“-Djava.security.auth.login.config=…/config/kafka_server_jaas.conf”

exec $(dirname 0 ) / k a f k a − r u n − c l a s s . s h k a f k a . t o o l s . C o n s o l e P r o d u c e r " 0)/kafka-run-class.sh kafka.tools.ConsoleProducer " 0)/kafkarunclass.shkafka.tools.ConsoleProducer"@"

vim bin/kafka-console-consumer.sh

if [ “x$KAFKA_HEAP_OPTS” = “x” ]; then
export KAFKA_HEAP_OPTS=“-Xmx512M”
fi

添加这行

export KAFKA_OPTS=“-Djava.security.auth.login.config=…/config/kafka_server_jaas.conf”

exec $(dirname 0 ) / k a f k a − r u n − c l a s s . s h k a f k a . t o o l s . C o n s o l e C o n s u m e r " 0)/kafka-run-class.sh kafka.tools.ConsoleConsumer " 0)/kafkarunclass.shkafka.tools.ConsoleConsumer"@"


### 启动kafka



nohup kafka-server-start.sh /path-to-kafka/config/server.properties &


我自己写了一个脚本,同时启动zookeeper和kafka


文件名称叫startup.sh内容如下:



cd /home/lighthouse/zk-3.4.14/zookeeper-3.4.14/bin
./zkServer.sh start
cd /home/lighthouse/kafka_2.12-2.2.1/
nohup bin/kafka-server-start.sh config/server.properties > output.txt &




本人从事网路安全工作12年,曾在2个大厂工作过,安全服务、售后服务、售前、攻防比赛、安全讲师、销售经理等职位都做过,对这个行业了解比较全面。


最近遍览了各种网络安全类的文章,内容参差不齐,其中不伐有大佬倾力教学,也有各种不良机构浑水摸鱼,在收到几条私信,发现大家对一套完整的系统的网络安全从学习路线到学习资料,甚至是工具有着不小的需求。


最后,我将这部分内容融会贯通成了一套282G的网络安全资料包,所有类目条理清晰,知识点层层递进,需要的小伙伴可以点击下方小卡片领取哦!下面就开始进入正题,如何从一个萌新一步一步进入网络安全行业。


![](https://img-blog.csdnimg.cn/img_convert/311903982dea1d8a5d2c98fc271b5b41.jpeg)



### 学习路线图


 其中最为瞩目也是最为基础的就是网络安全学习路线图,这里我给大家分享一份打磨了3个月,已经更新到4.0版本的网络安全学习路线图。


相比起繁琐的文字,还是生动的视频教程更加适合零基础的同学们学习,这里也是整理了一份与上述学习路线一一对应的网络安全视频教程。


![](https://img-blog.csdnimg.cn/img_convert/1ddfaf7dc5879b1120e31fafa1ad4dc7.jpeg)


#### 网络安全工具箱


当然,当你入门之后,仅仅是视频教程已经不能满足你的需求了,你肯定需要学习各种工具的使用以及大量的实战项目,这里也分享一份**我自己整理的网络安全入门工具以及使用教程和实战。**


![](https://img-blog.csdnimg.cn/img_convert/bcd1787ce996787388468bb227d8f959.jpeg)


#### 项目实战


最后就是项目实战,这里带来的是**SRC资料&HW资料**,毕竟实战是检验真理的唯一标准嘛~


![](https://img-blog.csdnimg.cn/img_convert/35fc46df24091ce3c9a5032a9919b755.jpeg)


#### 面试题


归根结底,我们的最终目的都是为了就业,所以这份结合了多位朋友的亲身经验打磨的面试题合集你绝对不能错过!

**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友,可以点击这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**

**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值