kafka_ssl认证

已于 2024-05-29 13:42:15 修改
阅读量2.8k 收藏 15
点赞数 32
文章标签： java linux 开发语言
于 2022-06-23 16:23:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42145354/article/details/125429575
版权

在 kafka 的 broker 和 client 之间加入 SSL 双向认证

单向认证

首先实现单向的认证，即，client 对 broker 的认证。就像浏览器对服务器的认证一样。
注：密钥生成过程中的密码统一为123456

为broker生成keystore

第一步是为集群的每台机器生成密钥和证书，可以使用java的keytool来生产。我们将生成密钥到一个临时的密钥库，之后我们可以导出并用CA签名它。
keytool 使用可以参考java中Keytool的使用总结

keytool -genkey -keystore server.keystore.jks -alias localhost -validity 365 -keyalg RSA

生成CA

通过第一步，集群中的每台机器都生成了一个证书来识别机器。但是，证书是未签名的，这意味着攻击者可以创建一个这样的证书来假装成任何机器。因此需要对这些证书进行签名来防止伪造。
在浏览网站的时候，使用HTTPS的网站的证书是由受信任的第三方颁发的，那么这里可以模拟一个假的CA中心，只要支持签名即可。
下面使用 OpenSSL 来生成一个私钥和一个证书，有效期为365天

openssl req -new -x509 -keyout ca-key -out ca-cert -days 365

然后会生成 ca-key 和 ca-cert 两个文件。

ca-key：模拟CA的私钥
ca-cert：模拟CA的证书
签名

用上一步生成的 CA 来签名第一步生成的证书，证书哪里来？从第一步生成的 server.keystore.jks 里面导出来。
导出证书，命名为 server.crt。

keytool -keystore server.keystore.jks -alias localhost -certreq -file server.crt

然后用刚才在第二步生成的CA的私钥对刚才导出的证书签名，签名后的证书命名为 server-signed.crt。

openssl x509 -req -CA ca-cert -CAkey ca-key -in server.crt -out server-signed.crt -days 365 -CAcreateserial -passin pass:test123

命令成功执行后，会生成两个文件server-signed.crt和 ca-cert.srl，ca-cert.srl 是 ca-cert的序列号文件，由-CAcreateserial参数生成的
最后，将CA的证书和已经签名的证书导入秘钥仓库：

keytool -keystore server.keystore.jks -alias CARoot -import -file ca-cert
keytool -keystore server.keystore.jks -alias localhost -import -file server-signed.crt

使 client 信任broker

为了使 client 信任broker，就需要将broker端的证书加入到客户端信任库里面，那么，按照道理来说，想让client信任所有的broker，那么就需要将所有的broker的证书添加到client的信任列表里面，那么就增加了不好操作性，比如说我新增了一个broker，难道还要挨个通知client增加信任吗？当然不可能。
证书签名体系中，有一个信任链的概念，就是说，如果使用证书A签名了证书B、C、D，那么只要信任了 A，就会信任B、C、D。这样来说就好办了，只要信任CA的证书，就可以信任所有它签名的证书

keytool -keystore client.truststore.jks -alias CARoot -import -file ca-cert

启动broker

在 config/server.properties 文件里面修改如下项：
listeners如果只支持SSL的话，就需要把 security.inter.broker.protocol 也配置为 SSL，即内部交流方式也为SSL。

listeners=PLAINTEXT://192.168.3.146:6667,SSL://192.168.3.146:6668
ssl.endpoint.identification.algorithm= #解决dns匹配问题 忽略对证书主机ip匹配
ssl.key.password=123456
ssl.keystore.location=/usr/hdp/3.1.4.0-315/kafka/conf/cert/server.keystore.jks
ssl.keystore.password=123456

查看日志，无错为启动成功。

启动客户端

这一步，需要把上面生成的 client.truststore.jks 放到客户端侧。
我使用的是java客户端，以消费者为例，连接broker的配置需要额外添加一下几行：

props.put("ssl.endpoint.identification.algorithm", "");
props.put("security.protocol", "SSL");
props.put("ssl.truststore.location", "E:\\cert\\client.truststore.jks");
props.put("ssl.truststore.password", "123456");

验证结果

经过测试，结果正确。
到这里，就可以实现client对broker的认证，如果是任意的一个broker，client是会拒绝连接的。但是，在kafka应用里面，好像并不是很实用，除了数据的加密。更多情况下，broker要防止任意的client进行连接，不能让client随意连接，那么就需要增加broker对client的认证。
其实原理和上面的是一样的，就是为client生成证书，然后让broker信任。增加broker对client的认证

增加broker对client的认证

首先生成各种证书

#为client生成证书
keytool -genkey -keystore client.keystore.jks -alias localhost -validity 365 -keyalg RSA
#为client生成CA
openssl req -new -x509 -keyout ca-key -out ca-cert -days 365
#导出证书
keytool -keystore client.keystore.jks -alias localhost -certreq -file client.crt
#签名
openssl x509 -req -CA ca-cert -CAkey ca-key -in client.crt -out client-signed.crt -days 365 -CAcreateserial -passin pass:123456
#导入
keytool -keystore client.keystore.jks -alias CARoot -import -file ca-cert
keytool -keystore client.keystore.jks -alias localhost -import -file client-signed.crt

keytool -keystore server.truststore.jks -alias CARoot -import -file ca-cert

配置broker

ssl.client.auth=required
ssl.truststore.location=/usr/hdp/3.1.4.0-315/kafka/conf/cert/server.truststore.jks
ssl.truststore.password=123456

启动。

配置client

在client端，增加连接参数：

props.put("ssl.key.password", "123456");
props.put("ssl.keystore.location", "E:\\cert\\client.keystore.jks");
props.put("ssl.keystore.password", "123456");

启动client

我以消费者为例，看是否能够连接成功，如果能够连接成功，那就也就意味着配置成功了。
幸运的，连接成功了，模拟发送数据也能够接收到。

总结

没啥可总结的，把配置合在一起贴一下吧。

broker 配置 server.properties：

listeners=PLAINTEXT://192.168.3.146:6667,SSL://192.168.3.146:6668
ssl.client.auth=required
ssl.endpoint.identification.algorithm=
ssl.key.password=123456
ssl.keystore.location=/usr/hdp/3.1.4.0-315/kafka/conf/cert/server.keystore.jks
ssl.keystore.password=123456
ssl.truststore.location=/usr/hdp/3.1.4.0-315/kafka/conf/cert/server.truststore.jks
ssl.truststore.password=123456

client

props.put("security.protocol", "SSL");
props.put("ssl.truststore.location", "E:\\cert\\client.truststore.jks");
props.put("ssl.truststore.password", "123456");
props.put("ssl.key.password", "123456");
props.put("ssl.keystore.location", "E:\\cert\\client.keystore.jks");
props.put("ssl.keystore.password", "123456");
props.put("ssl.endpoint.identification.algorithm", "");

整体执行的shell命令 重新整理

keytool -genkey -keystore server.keystore.jks -alias localhost -validity 3650 -keyalg RSA   -storepass 123456 -keypass 123456 -dname "CN=MyName, OU=MyOrgUnit, O=MyOrg, L=MyCity, ST=MyState, C=MyCountry"
openssl req -new -x509 -days 3650 -keyout ca-key.pem -out ca-cert.pem -passout pass:123456
keytool -keystore server.keystore.jks -alias localhost -certreq -file server.crt -storepass 123456 -keypass 123456
openssl x509 -req -CA ca-cert -CAkey ca-key -in server.crt -out server-signed.crt -days 3650 -CAcreateserial -passin pass:123456
openssl x509 -req -CA ca-cert.pem -CAkey ca-key.pem -in server.crt -out server-signed.crt -days 3650 -CAcreateserial -passin pass:123456
keytool -keystore server.keystore.jks -alias CARoot -import -file ca-cert.pem -storepass 123456 -keypass 123456
keytool -keystore server.keystore.jks -alias localhost -import -file server-signed.crt -storepass 123456 -keypass 123456
keytool -keystore client.truststore.jks -alias CARoot -import -file ca-cert.pem -storepass 123456 -keypass 123456

keytool -genkey -keystore client.keystore.jks -alias localhost -validity 3650 -keyalg RSA -storepass 123456 -keypass 123456 -dname "CN=MyName, OU=MyOrgUnit, O=MyOrg, L=MyCity, ST=MyState, C=MyCountry"
keytool -keystore client.keystore.jks -alias localhost -certreq -file client.crt -storepass 123456 -keypass 123456
openssl x509 -req -CA ca-cert -CAkey ca-key -in client.crt -out client-signed.crt -days 3650 -CAcreateserial -passin pass:123456
openssl x509 -req -CA ca-cert.pem -CAkey ca-key.pem -in client.crt -out client-signed.crt -days 3650 -CAcreateserial -passin pass:123456
keytool -keystore client.keystore.jks -alias CARoot -import -file ca-cert.pem -storepass 123456 -keypass 123456
keytool -keystore client.keystore.jks -alias localhost -import -file client-signed.crt -storepass 123456 -keypass 123456
keytool -keystore server.truststore.jks -alias CARoot -import -file ca-cert.pem -storepass 123456 -keypass 123456
J_DBK
关注
  • 32
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Kafka SASL_SSL双重认证_kafka_ssl认证 csdn，2024年最新腾讯T3亲自讲解
2401_84166258的博客
04-17 847
(img-ioBmKAyI-1713304727375)]#此处填写 SASL登录时分配的用户名密码（注意password结尾;
Kafka SASL_SSL集群认证
麦田里的守望者-蒋中洲【相信相信的力量】
05-23 1968
公司需要对kafka环境进行安全验证，目前考虑到的方案有Kerberos和SSL和SASL_SSL，最终考虑到安全和功能的丰富度，我们最终选择了SASL_SSL方案。到此为止，SSL的证书生成和签发完成，可以在当前目录下看到server.keystore.jks和server.truststore.jks文件，最后将这些签发的证书上传到剩下的两台kafka机器上的。证书的生成只需要在任意一台机器上实现，然后将生成的证书拷贝到其余的机器上即可。本次案例生成的在141这台机器上。1）生成keystore。
在 kafka 的 broke 和 client 之间加入 SSL 双向认证
拖垃圾的专栏
01-19 4616
参考：https://kafka.apache.org/documentation/#security 单向认证 首先实现单向的认证，即，client 对 broker 的认证。就像浏览器对服务器的认证一样。 注：密钥生成过程中的密码统一为test123。 为broke生成keystore 第一步是为集群的每台机器生成密钥和证书，可以使用java的keytool来生产。我们将生成密钥
Kafka SASL_SSL双重认证
weixin_44783506的博客
02-05 3997
kafka提供了多种安全认证机制，主要分为SASL和SSL两大类。在 Kafka 中启用 SASL_SSL 安全协议时，SASL 用于客户端和服务器之间的身份验证，SSL 则用于加密和保护数据的传输。不仅提供身份验证，还提供加密和数据保护的功能。因工作需要，需要在测试环境搭建一套基于SASL_SSL协议的kafka环境。坑比较多，经过两天的研究终于搞定了，特在此记录下。
kafka与zookeeper的SSL认证教程
最新发布
乐维社区的博客
07-11 1751
setAcl / ip:127.0.0.1:cdrwa,auth:kafka:kafka@123:cdrwa #(设置可以登陆的IP和用户账号密码，admin是上面的zk的配置文件里面定义的管理员，Kafka用户是/asop/kafka/kafka_2.11-2.1.0/config/kafka_server_jaas.conf文件里面的定义的kafka连接zk的用户 （Client下面的）)/asop/zk/zookeeper-3.4.13/bin/zkCli.sh #进入zk的命令行模式。
kafka开启SSL认证（包括内置zookeeper开启SSL）
m0_37817986的博客
11-09 1787
zookeeper和kafka的SSL开启都可独立进行。
kafka2.x版本配置SSL进行加密和身份验证
heming20122012的专栏
03-19 2632
与步骤 1 中存储每台机器自己的身份的密钥库不同，客户机的信任库存储客户机应信任的所有证书。您可以使用单个 CA 对集群中的所有证书进行签名，并让所有计算机共享信任该 CA 的同一信任库。因此，只要 CA 是真实且受信任的颁发机构，客户端就可以高度保证它们连接到真实的计算机。部署一个或多个支持 SSL 的代理的第一步是为集群中的每台计算机生成密钥和证书。完成第一步后，群集中的每台计算机都有一个公钥-私钥对，以及一个用于标识计算机的证书。生成的 CA 只是一个公钥-私钥对和证书，它旨在对其他证书进行签名。
kafka SSL认证
Aspirin's Nest
01-09 1124
kafka with kraft 配置ssl加密
GetOffsetShell_kafka_SSL:具有SSL的kafka.tools.GetOffsetShell
03-11
综上所述，解决"GetOffsetShell_kafka_SSL"的问题需要深入理解Kafka的SSL配置和客户端认证机制，以及如何在命令行工具中正确传递这些配置。通过仔细检查配置，确保证书链的完整性，并正确处理身份验证，通常可以解决...
kafka_2.13-3.1.0
02-09
在安全性方面，Kafka 2.13-3.1.0引入了更强大的认证和授权机制，支持SSL/TLS加密，确保了数据传输的安全性。同时，该版本还支持更多元化的权限控制，满足了企业级应用的需求。 最后，Kafka Streams是Kafka内置的轻...
kafka配置SSL(shell脚本)
04-11
kafka配置SSL的前几步骤，写成shell脚本了,方便！博客参考：https://blog.csdn.net/qq_34021712/article/details/79902479
kafka添加ssl认证
01-07
主要是生成证书: 请先安装java和openssl. 生成证书脚本ca.sh: #!/bin/bash #Step 1 keytool -keystore /var/soft/ca/server.keystore.jks -alias localhost -validity 365 -genkey #Step 2 openssl req -new -x509 -keyout ca-key -out ca-cert -days 365 keytool -keystore /var/soft/ca/server.truststore.jks -alias CARoot -import -file
最新版kafka kafka_2.12-2.5.1.tgz
08-13
- 引入新特性，如增强的安全性选项，支持 SASL/SSL 认证和授权。 - 更新了对不同客户端库的支持，包括 Java、Python 和其他语言的驱动程序。 - 对于生产者和消费者，优化了配置选项和默认行为，提升了用户体验。 ...
（一）Kafka 安全之使用 SSL 的加密和身份验证
流华追梦的专栏
06-18 1609
SSL（Secure Sockets Layer）是一种网络协议，提供了一种在客户端和服务器之间建立安全连接的方法。启用 SSL 后，Kafka 集群中的所有数据传输，包括生产者、消费者与 Broker 之间的消息交互都会被加密，确保敏感信息在网络传输过程中不被窃听或篡改。
大数据Hadoop之——Kafka安全机制（Kafka SSL认证实现）
匠人精神，持之以恒！
06-12 2627
Kafka0.9.0开始引入丰富的安全认证机制，实现基础安全用户认证，将kafka上云或进行多租户管理的必要步骤安全，目前kafka支持`SASL`、`SSL`、`Delegation Token`这三种认证机制。
Kafka部署全攻略——Kafka SSL认证实现
bbsxb520的博客
06-28 873
kafka的ssl证书生成流程及认证实现
kafka 认证
刘光华的专栏
10-13 4598
简介kafka从0.9版本开始引入安全体系(1)支持brokers和client之间的连接认证。使用SSL或者SASLSASL/GSSAPI (Kerberos) - starting at version 0.9.0.0 SASL/PLAIN - starting at version 0.10.0.0 SASL/SCRAM-SHA-256 and SASL/SCRAM-SHA-512 - sta
kafka sasl_ssl证书
10-10
Kafka SASL_SSL证书是用于加密和认证Kafka集群中的客户端和服务端之间数据传输的一种安全机制。SASL是指Simple Authentication and Security Layer，SSL是指Secure Sockets Layer，这两种机制结合使用可以提高Kafka集群的安全性。 在Kafka中配置SASL_SSL证书需要生成服务端和客户端的证书，并将证书配置到对应的Kafka配置文件中。具体步骤可以参考Kafka官方文档中的相关章节。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值