Kafka配置SSL安全认

最新推荐文章于 2024-06-19 07:12:57 发布
最新推荐文章于 2024-06-19 07:12:57 发布
阅读量2.9k 收藏 9
点赞数 1
文章标签： ssl 安全 https Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61332144/article/details/129255611
版权

Apache Kafka允许客户端使用SSL加密流量和身份验证。默认情况下，SSL被禁用，但可以在需要时打开。

  1. 为每个Kafka代理生成SSL密钥和证书

部署一个或多个具有SSL支持的代理的第一步是为每个服务器生成公共/私有密钥对。由于Kafka希望所有密钥和证书都存储在密钥库中，因此我们将使用Java的keytool命令执行此任务。

keytool -keystore server.keystore.jks -alias localhost -validity 365  -storetype PKCS12 -genkey -dname "CN=localhost, OU=IT, O=MyCompany, L=beijing, ST=beijing, C=CN"

注意：CN属性必须写成localhost不然会导致后期生成的证书出错！！！

Enter keystore password:test1234
Re-enter new password:test1234

keystore: 密钥仓库存储证书文件。密钥仓库文件包含证书的私钥（保证私钥的安全）。

validity: 证书的有效时间，天。

证书生成后可以使用以下命令验证是否生成成功：

keytool -list -v -keystore server.keystore.jks

server.keystore.jks 这个文件包含了一对公私钥，和一个证书来识别机器。但是，证书是未签名的，这意味着攻击者可以创建一个这样的证书来伪装成任何机器。

2.创建自己的CA

生成的CA是一个简单的公私钥对和证书，用于签名其他的证书。

openssl req -new -x509 -keyout ca-key -out ca-cert -days 365
[root@node01 opt]# openssl req -new -x509 -keyout ca-key -out ca-cert -days 365
Generating a 2048 bit RSA private key
......................................................+++
...................................................+++
writing new private key to 'ca-key'
Enter PEM pass phrase:
Verifying - Enter PEM pass phrase:
-----
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [XX]:CN
State or Province Name (full name) []:beijing
Locality Name (eg, city) [Default City]:beijing
Organization Name (eg, company) [Default Company Ltd]:myCompany
Organizational Unit Name (eg, section) []:IT
Common Name (eg, your name or your server's hostname) []:kafkaSSL
Email Address []:

3.创建信任库

将生成的CA添加到clients.truststore（客户的信任库），以便client可以信任这个CA:

keytool -keystore server.truststore.jks -alias CARoot -import -file ca-cert
keytool -keystore client.truststore.jks -alias CARoot -import -file ca-cert

示例：

[root@node01 opt]# keytool -keystore server.truststore.jks -alias CARoot -import -file ca-cert
Enter keystore password:  
Re-enter new password: 
Owner: CN=kafkaSSL, OU=IT, O=myCompany, L=beijing, ST=beijing, C=CN
Issuer: CN=kafkaSSL, OU=IT, O=myCompany, L=beijing, ST=beijing, C=CN
Serial number: db4a52d0cfa8dabd
Valid from: Tue Feb 28 18:19:12 CST 2023 until: Wed Feb 28 18:19:12 CST 2024
Certificate fingerprints:
     MD5:  D7:A8:77:A8:86:B2:27:CE:40:F4:8C:EF:F3:7D:94:15
     SHA1: 60:14:AA:54:87:2F:75:6C:1A:28:E9:79:9C:6F:F8:CB:1D:B6:FE:D8
     SHA256: 55:65:05:66:69:0E:41:AC:D8:05:33:3B:13:E6:A2:4F:93:FD:F8:0D:DA:05:E3:57:0D:BB:31:35:84:09:2E:5C
Signature algorithm name: SHA256withRSA
Subject Public Key Algorithm: 2048-bit RSA key
Version: 3

Extensions: 

#1: ObjectId: 2.5.29.35 Criticality=false
AuthorityKeyIdentifier [
KeyIdentifier [
0000: A0 BF F9 B5 D4 02 30 6C   7C E4 56 8C 84 2F 35 EA  ......0l..V../5.
0010: 0A 3B EF CE                                        .;..
]
]

#2: ObjectId: 2.5.29.19 Criticality=false
BasicConstraints:[
  CA:true
  PathLen:2147483647
]

#3: ObjectId: 2.5.29.14 Criticality=false
SubjectKeyIdentifier [
KeyIdentifier [
0000: A0 BF F9 B5 D4 02 30 6C   7C E4 56 8C 84 2F 35 EA  ......0l..V../5.
0010: 0A 3B EF CE                                        .;..
]
]

Trust this certificate? [no]:  yes
Certificate was added to keystore

客户端的信任库存储所有客户端信任的证书，将证书导入到一个信任仓库也意味着信任由该证书签名的所有证书，正如上面的比喻，信任政府（CA）也意味着信任它颁发的所有护照（证书），此特性称为信任链，在大型的kafka集群上部署SSL时特别有用的。可以用单个CA签名集群中的所有证书，并且所有的机器共享相同的信任仓库，这样所有的机器也可以验证其他的机器了。

4.签名证书

用步骤2生成的CA签名步骤1生成的证书。首先需要导出请求文件。

keytool -keystore server.keystore.jks -alias localhost -certreq -file cert-file

cert-file: 出口，服务器的未签名证书

然后用CA签名

openssl x509 -req -CA ca-cert -CAkey ca-key -in cert-file -out cert-signed -days 365 -CAcreateserial -passin pass:test1234

最后,你需要导入CA的证书和已签名的证书到密钥仓库:

keytool -keystore server.keystore.jks -alias CARoot -import -file ca-cert
keytool -keystore server.keystore.jks -alias localhost -import -file cert-signed

5.配置Kafka Broker

listeners=SSL://localhost:9093
#server.keystore.jks的地址
ssl.keystore.location=/ssl/server.keystore.jks
ssl.keystore.password=test1234
ssl.key.password=test1234
#server.truststore.jks的地址
ssl.truststore.location=/ssl/server.truststore.jks
ssl.truststore.password=test1234
security.inter.broker.protocol=SSL
ssl.endpoint.identification.algorithm=
ssl.client.auth=required
ssl.enabled.protocols=TLSv1.2,TLSv1.1,TLSv1
ssl.keystore.type=JKS
ssl.truststore.type=JKS

6.配置Kafka 客户端

Producer和Consumer的SSL的配置是相同的。

client-ssl.properties：

security.protocol=SSL
ssl.truststore.location=/ssl/client.truststore.jks
ssl.truststore.password=test1234
ssl.keystore.location=/ssl/client.keystore.jks
ssl.keystore.password=test1234
ssl.key.password=test1234
ssl.endpoint.identification.algorithm=

7.启动Kafka测试

启动zookeeper：

bin/zookeeper-server-start.sh config/zookeeper.properties

启动Kafka：

bin/kafka-server-start.sh config/server.properties

创建topic：

bin/kafka-topics.sh --create --topic testSSL --bootstrap-server localhost:9093 --command-config client-ssl.properties

生产者：

bin/kafka-console-producer.sh --bootstrap-server localhost:9093 --topic testSSL --producer.config client-ssl.properties

消费者：

bin/kafka-console-consumer.sh --bootstrap-server localhost:9093 --topic testSSL --consumer.config client-ssl.properties

注意：client-ssl.properties里需要配置ssl.endpoint.identification.algorithm=来取消验证主机名。

爱过java
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
kafka SSL证书生成及配置
Sy9876的专栏
08-15 8126
apache kafka可以使用SSL加密连接，还可以限制客户端访问， 给客户端发行证书，只允许持有证书的客户端访问。下面使用jdk的keytool工具来生成证书，配置kafka。
Kafka安全认证-SASL
麦田里的守望者-蒋中洲【相信相信的力量】
08-24 1323
Kafka Sasl认证部署
Kafka配置SSL加密传输
qq_41527073的博客
11-04 8073
Kafka配置SSL加密传输 一、证书配置 1、生成证书 如我输入命令如下：依次是 密码—重输密码—名与姓—组织单位—组织名—城市—省份—国家两位代码—密码—重输密码，后面告警不用管，此步骤要注意的是，名与姓这一项必须输入域名，如 “localhost”,切记不可以随意写，我曾尝试使用其他字符串，在后面客户端生成证书认证的时候一直有问题。 keytool -keystore server.keystore.jks -alias localhost -validity 3650 -genkey Enter k
（二）Kafka 安全之使用 SSL 的加密和身份验证
最新发布
流华追梦的专栏
06-19 926
接上一篇《（一）Kafka 安全之使用 SSL 的加密和身份验证》，本文从 2.2 小节开始。
大数据Hadoop之——Kafka安全机制（Kafka SSL认证实现）
匠人精神，持之以恒！
06-12 2608
Kafka0.9.0开始引入丰富的安全认证机制，实现基础安全用户认证，将kafka上云或进行多租户管理的必要步骤安全，目前kafka支持`SASL`、`SSL`、`Delegation Token`这三种认证机制。
在 kafka 的 broke 和 client 之间加入 SSL 双向认证
拖垃圾的专栏
01-19 4564
参考：https://kafka.apache.org/documentation/#security 单向认证 首先实现单向的认证，即，client 对 broker 的认证。就像浏览器对服务器的认证一样。 注：密钥生成过程中的密码统一为test123。 为broke生成keystore 第一步是为集群的每台机器生成密钥和证书，可以使用java的keytool来生产。我们将生成密钥
kafka SSL配置随笔
qq_41574772的博客
03-15 1952
讲解关于kafka的ssl配置和参考资料
Kafka3.0 SASL安全认证
binter12138的博客
04-20 6714
下面主要介绍Kafka两种认证方式 kafka验证方式： SASL/PLAIN：不能动态添加用户配置文件写死账号密码 SASL/SCRAM： 可以动态的添加用户 SASL/PLAIN方式 cd /usr/local/kafka/kafka_2.12-3.0.1/bin/ ## 复制一份sasl cp kafka-server-start.sh kafka-server-start-sasl.sh 在kafka-server-start-sasl.sh 末尾修改配置 exe
kafka ssl 安全认证详细配置
06-23
kafka ssl 安全认证详细配置 Kafka SSL 安全认证是 Kafka 集群中的一种安全机制，旨在确保数据传输的安全性和可靠性。本文将详细介绍 Kafka SSL 安全认证的配置过程，包括环境准备、SSL 证书生成、客户端 SSL 证书...
kafka添加ssl认证
01-07
主要是生成证书: 请先安装java和openssl. 生成证书脚本ca.sh: #!/bin/bash #Step 1 keytool -keystore /var/soft/ca/server.keystore.jks -alias localhost -validity 365 -genkey #Step 2 openssl req -new -x509 ...
kafka配置SSL(shell脚本)
04-11
kafka配置SSL的前几步骤，写成shell脚本了,方便！博客参考：https://blog.csdn.net/qq_34021712/article/details/79902479
kafka 配置kerberos安全认证
01-28
这个里面是kafka配置kerberos的详细步骤，其方式也可以应用到kafka自带的认证体系
Kafka配置信息.docx
10-28
Kafka 配置信息总结 Kafka 是一个基于 Publish-Subscribe 模式的分布式消息队列系统，配置信息是 Kafka 集群的核心组件。本文将对 Kafka 配置信息进行详细的解析，帮助读者更好地理解 Kafka 的配置机制。 Broker ...
Illegal char ＜:＞ at index 4
IOT_player的博客
02-14 9598
java.nio.file.InvalidPathException: Illegal char at index 4 问题分析
Kafka部署全攻略——Kafka SSL认证实现
bbsxb520的博客
06-28 842
kafka的ssl证书生成流程及认证实现
kafka2.x版本配置SSL进行加密和身份验证
heming20122012的专栏
03-19 2012
与步骤 1 中存储每台机器自己的身份的密钥库不同，客户机的信任库存储客户机应信任的所有证书。您可以使用单个 CA 对集群中的所有证书进行签名，并让所有计算机共享信任该 CA 的同一信任库。因此，只要 CA 是真实且受信任的颁发机构，客户端就可以高度保证它们连接到真实的计算机。部署一个或多个支持 SSL 的代理的第一步是为集群中的每台计算机生成密钥和证书。完成第一步后，群集中的每台计算机都有一个公钥-私钥对，以及一个用于标识计算机的证书。生成的 CA 只是一个公钥-私钥对和证书，它旨在对其他证书进行签名。
Kafka SSL安装与配置
csdn_manong1的博客
10-08 654
在Kafka 0.9.0.0之后，Kafka社区增加了一系列的功能，其中包含对Kafka集群进行安全管控。Broker与Client之间的权限认证（例如Producer和Consumer）。可以使用SSL或SASL，而SASL支持如下方案：SASL/GSSAPI（Kerberos），开始于0.9.0.0版本SASL/PLAIN，开始于0.10.0.0版本SASL/SCRAM-SHA-256和SASL/SCRAM-SHA-512，开始于0.10.2.0版本。
kafka sasl_ssl配置
totoro1992的博客
09-29 2506
kafka sasl_ssl配置
[Kafka集群] 配置支持Brokers内部SSL认证\外部客户端支持SASL_SSL认证并集成spring-cloud-starter-bus-kafka
FaceFullofConfused的博客
07-16 1972
Kafka集群配置支持Brokers内部SSL认证\外部客户端支持SASL_SSL认证并集成spring-cloud-starter-bus-kafka
docker kafka配置SSL
05-24
要在 Docker 中配置 Kafka SSL，您需要执行以下步骤： 1. 首先，您需要为 Kafka 生成 SSL 证书。您可以使用 openssl 命令生成自签名证书。假设您已经生成了证书并将其保存在 /path/to/ssl 目录中。 2. 然后，您需要将证书添加到 Kafka 配置中。您可以在 Kafka 配置文件中添加以下内容： ``` listeners=PLAINTEXT://:9092,SSL://:9093 ssl.keystore.location=/path/to/ssl/kafka.server.keystore.jks ssl.keystore.password=<password> ssl.key.password=<password> ssl.truststore.location=/path/to/ssl/kafka.server.truststore.jks ssl.truststore.password=<password> ``` 其中，ssl.keystore.location 和 ssl.truststore.location 需要指向包含 SSL 证书的 jks 文件的路径。ssl.keystore.password，ssl.key.password 和 ssl.truststore.password 是 jks 文件的密码。 3. 接下来，您需要将证书添加到 Kafka 容器中。您可以使用 Dockerfile 或 docker run 命令中的 -v 标志将证书添加到容器中。假设您已将证书保存在 /path/to/ssl 目录中，您可以使用以下命令将其添加到容器中： ``` docker run -v /path/to/ssl:/ssl -p 9092:9092 -p 9093:9093 -e KAFKA_ADVERTISED_HOST_NAME=<host_name> -e KAFKA_SSL_KEYSTORE_LOCATION=/ssl/kafka.server.keystore.jks -e KAFKA_SSL_KEYSTORE_PASSWORD=<password> -e KAFKA_SSL_KEY_PASSWORD=<password> -e KAFKA_SSL_TRUSTSTORE_LOCATION=/ssl/kafka.server.truststore.jks -e KAFKA_SSL_TRUSTSTORE_PASSWORD=<password> confluentinc/cp-kafka ``` 其中，-v 标志将 /path/to/ssl 目录映射到容器内的 /ssl 目录。-e 标志将 SSL 证书和密码添加到容器的环境变量中。 4. 最后，您需要在 Kafka 客户端中使用 SSL 连接。您可以在客户端配置文件中添加以下内容： ``` security.protocol=SSL ssl.truststore.location=/path/to/ssl/kafka.client.truststore.jks ssl.truststore.password=<password> ssl.keystore.location=/path/to/ssl/kafka.client.keystore.jks ssl.keystore.password=<password> ssl.key.password=<password> ``` 其中，ssl.truststore.location 和 ssl.truststore.password 应该与 Kafka 服务器配置中的相同。ssl.keystore.location，ssl.keystore.password 和 ssl.key.password 应该与客户端证书的位置和密码相同。 以上就是在 Docker 中配置 Kafka SSL 的步骤。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值