Kafka安全认证 SASL/PLAINTEXT，账号密码认证

最新推荐文章于 2024-10-09 11:47:00 发布
最新推荐文章于 2024-10-09 11:47:00 发布
阅读量2.3k 收藏 6
点赞数 2
分类专栏： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43564627/article/details/118386089
版权

目录

Kafka安全认证 SASL/PLAINTEXT，账号密码认证

一.背景

kafka提供了多种安全认证机制，主要分为SSL和SASL2大类。其中SASL/PLAIN是基于账号密码的认证方式，比较常用。最近做了个kafka的鉴权，发现官网上讲的不是很清楚，网上各种博客倒是很多，但是良莠不齐，巨多坑。经过一天的研究，终于搞定了，特在此记录下。

一、Zookeeper集群配置SASL

zookeeper所有节点都是对等的，只是各个节点角色可能不相同。以下步骤所有的节点配置相同。

1、zoo.cfg文件配置

为zookeeper添加SASL支持，在配置文件zoo.cfg添加

   authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
    requireClientAuthScheme=sasl
    jaasLoginRenew=3600000

2.新建zoo_jaas.conf文件，为Zookeeper添加账号认证信息
这个文件你放在哪里随意，只要后面zkEnv配置正确的路径就好了。我是放在/home路径下。zk_server_jaas.conf文件的内容如下

Server {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="kafka"
    password="kafkapwd"
    user_kafka="kafkapwd";
};

username和paasword是zk集群之间的认证密码。
user_kafka=“kafka"定义了一个用户"kafka”，密码是"kafkapwd"

3.将Kafka相关jar包导入到Zookeeper

Zookeeper的认证机制是使用插件，“org.apache.kafka.common.security.plain.PlainLoginModule”，所以需要导入Kafka相关jar包，kafka-clients相关jar包，在kafka服务下的lib目录中可以找到，根据kafka不同版本，相关jar包版本会有所变化。

所需要jar包如下，在zookeeper下创建目录zk_sasl_lib将jar包放入（目录名与位置可以随便，后续引用指定即可）：

kafka-clients-1.1.1.jar
lz4-java-1.4.1.jar
slf4j-api-1.7.25.jar
slf4j-log4j12-1.7.25.jar
snappy-java-1.1.7.1.jar

4.修改zkEnv.sh,主要目的就是将这几个jar包使zookeeper读取到

在$KAFKA_HOME/bin目录下找到zkEnv.sh文件，添加如下代码

注意引用的目录下jar包，与之前创建的zoo_jaas.conf文件

for i in /opt/zookeeper-3.4.14/zk_sasl_lib/*.jar;
do
    CLASSPATH="$i:$CLASSPATH"
done
SERVER_JVMFLAGS=" -Djava.security.auth.login.config=/opt/zookeeper-3.4.14/conf/zoo_jaas.conf"

5.重启Zookeeper服务

zkServer.sh restart

查看状态

zkServer.sh status

二、Kafka集群配置SASL

注：所有节点操作相同

1.创建kafka_server_jaas.conf文件，该文件名可以自己修改，为kafka添加认证信息

内容如下（这里的Client与Zookeeper相对应，KafkaServer与后期调用时读取的KafkaClient相对应，是消费生产的账号密码，不要弄混了）：

KafkaServer {
 org.apache.kafka.common.security.plain.PlainLoginModule required
 username="zsh"
 password="zshpwd"
 user_zsh="zshpwd" ;
};
Client{
 org.apache.kafka.common.security.plain.PlainLoginModule required
 username="kafka"
 password="kafkapwd";
};

先解释KafkaServer，使用user_来定义多个用户，供客户端程序（生产者、消费者程序）认证使用，可以定义多个，后续配置可能还可以根据不同的用户定义ACL，这部分内容超出本文范围。这是目前我对配置的理解。上例我定义了三个用户，一个是admin，一个是producer，一个是consumer，等号后面是对应用户的密码（如user_producer定义了用户名为producer，密码为prod-sec的用户）。再选择一个用户，用于Kafka内部的各个broker之间通信，这里我选择admin用户，对应的密码是admin-sec。
Client配置节则容易理解得多，主要是broker链接到zookeeper，从上文的Zookeeper JAAS文件中选择一个用户，填写用户名和密码即可。

2.在Kafka Server.properties添加、修改如下信息

listeners=SASL_PLAINTEXT://192.168.2.xxx:19092
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=PLAIN
sasl.enabled.mechanisms=PLAIN
allow.everyone.if.no.acl.found=true
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer

3.Kafka启动脚本中加入配置，读取第一步创建的文件,kafka_server_jaas.conf

修改kafka的kafka-server-start.sh文件，

在如下代码

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

添加

 export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G -Djava.security.auth.login.config=/opt/kafka_2.11-1.1.1/config/kafka_server_jaas.conf"

4.启动Kafka服务，查看日志是否正常

kafka-server-start.sh -daemon /opt/kafka_2.11-1.1.1/config/server.properties

三、Java客户端调用认证

这里只对配置进行举例，其他操作不变

客户端文件-kafka_client_jaas.conf

 KafkaClient{
     org.apache.kafka.common.security.plain.PlainLoginModule required  
     username="zsh"  
     password="zshpwd";  
    };

生产者：

public KafkaProducer() {
		System.setProperty("java.security.auth.login.config", "C://Kafkaanquan//kafka_client_jaas.conf");
		Properties props = new Properties();
		props.put("bootstrap.servers", KafkaParameter.KAFKA_HOST_IP.getValue());
		props.put("acks", "all");
		props.put("retries", 0);
		props.put("batch.size", 16384);
		props.put("linger.ms", 1);
		props.put("buffer.memory", 33554432);
		props.put("max.request.size", 8000000);
		props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
		props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
		props.put("security.protocol", "SASL_PLAINTEXT");
		props.put("sasl.mechanism", "PLAIN");
		this.producer = new org.apache.kafka.clients.producer.KafkaProducer<>(props);
	}

 消费者

public KafkaConsumer(String topic,int count) {
	
 
	Properties props = new Properties();
	props.put("bootstrap.servers", KafkaParameter.KAFKA_HOST_IP.getValue());
	//group 代表一个消费组
	props.put("group.id", "20190305"	);
	props.put("zookeeper.session.timeout.ms", "600000");
	props.put("zookeeper.sync.time.ms", "200000");
	props.put("auto.commit.interval.ms", "100000");
	props.put(org.apache.kafka.clients.consumer.ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
	props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
	props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
	props.put(org.apache.kafka.clients.consumer.ConsumerConfig.MAX_POLL_RECORDS_CONFIG, count+"");//设置最大消费数
	//        MAX_POLL_RECORDS_CONFIG
	props.put("security.protocol", "SASL_PLAINTEXT");
	props.put("sasl.mechanism", "PLAIN");
 
	props.put("sasl.jaas.config",
			"org.apache.kafka.common.security.plain.PlainLoginModule required username=\"zsh\" password=\"zshpwd\";");
 
//System.setProperty("java.security.auth.login.config", "C:/Kafkaanquan/kafka_client_jaas.conf"); 读取配置文件方式，与读取配置文件二选一
 
	consumer = new org.apache.kafka.clients.consumer.KafkaConsumer(props);
	consumer.subscribe(Arrays.asList(topic)); //"collectionInfo"
}

主要配置加入配置是以下三项

props.put("security.protocol", "SASL_PLAINTEXT");
props.put("sasl.mechanism", "PLAIN");
System.setProperty("java.security.auth.login.config", "C:/Kafkaanquan/kafka_server_jaas.conf");



异常说明

1.未读取Kafka认证客户端文件

Exception in thread "main" org.apache.kafka.common.KafkaException: Failed to construct kafka consumer
	at org.apache.kafka.clients.consumer.KafkaConsumer.<init>(KafkaConsumer.java:793)
	at org.apache.kafka.clients.consumer.KafkaConsumer.<init>(KafkaConsumer.java:644)
	at org.apache.kafka.clients.consumer.KafkaConsumer.<init>(KafkaConsumer.java:624)
	at com.xxx.kafka.KafkaConsumer.<init>(KafkaConsumer.java:32)
	at com.xxx.kafka.KafkaConsumer.getInstance(KafkaConsumer.java:38)
	at com.xxx.kafka.KafkaConsumer.main(KafkaConsumer.java:44)
Caused by: java.lang.IllegalArgumentException: Could not find a 'KafkaClient' entry in the JAAS configuration. System property 'java.security.auth.login.config' is not set
	at org.apache.kafka.common.security.JaasContext.defaultContext(JaasContext.java:133)
	at org.apache.kafka.common.security.JaasContext.load(JaasContext.java:98)
	at org.apache.kafka.common.security.JaasContext.loadClientContext(JaasContext.java:84)
	at org.apache.kafka.common.network.ChannelBuilders.create(ChannelBuilders.java:119)
	at org.apache.kafka.common.network.ChannelBuilders.clientChannelBuilder(ChannelBuilders.java:65)
	at org.apache.kafka.clients.ClientUtils.createChannelBuilder(ClientUtils.java:88)
	at org.apache.kafka.clients.consumer.KafkaConsumer.<init>(KafkaConsumer.java:710)
	... 5 more

  1. 认证文件中的账号密码不正确

    Exception in thread “main” org.apache.kafka.common.KafkaException: Failed to construct kafka consumer
    at org.apache.kafka.clients.consumer.KafkaConsumer.(KafkaConsumer.java:793)
    at org.apache.kafka.clients.consumer.KafkaConsumer.(KafkaConsumer.java:644)
    at org.apache.kafka.clients.consumer.KafkaConsumer.(KafkaConsumer.java:624)
    at com.xxx.kafka.KafkaConsumer.(KafkaConsumer.java:32)
    at com.xxx.kafka.KafkaConsumer.getInstance(KafkaConsumer.java:38)
    at com.xxx.kafka.KafkaConsumer.main(KafkaConsumer.java:44)
    Caused by: java.lang.IllegalArgumentException: Could not find a ‘KafkaClient’ entry in the JAAS configuration. System property ‘java.security.auth.login.config’ is not set
    at org.apache.kafka.common.security.JaasContext.defaultContext(JaasContext.java:133)
    at org.apache.kafka.common.security.JaasContext.load(JaasContext.java:98)
    at org.apache.kafka.common.security.JaasContext.loadClientContext(JaasContext.java:84)
    at org.apache.kafka.common.network.ChannelBuilders.create(ChannelBuilders.java:119)
    at org.apache.kafka.common.network.ChannelBuilders.clientChannelBuilder(ChannelBuilders.java:65)
    at org.apache.kafka.clients.ClientUtils.createChannelBuilder(ClientUtils.java:88)
    at org.apache.kafka.clients.consumer.KafkaConsumer.(KafkaConsumer.java:710)
    … 5 more

不想做咸鱼的王富贵
关注
专栏目录
Kafka安全认证：使用SASL/PLAINTEXT进行账号密码认证
LmzActionscript的博客
09-20 600
本文将介绍如何配置和使用SASL/PLAINTEXT认证机制，并提供相应的源代码示例。通过以上配置和代码示例，您可以在Kafka中启用SASL/PLAINTEXT认证，并使用账号密码进行安全认证。首先，需要在Kafka服务器上进行配置，以启用SASL/PLAINTEXT认证。现在可以使用配置好的Kafka客户端创建生产者和消费者来进行数据的发送和接收。在上述代码中，首先创建了一个生产者，设置了相关的配置项，包括。请注意，上述代码中的用户名和密码需要替换为实际的有效值。参数指定了认证的用户名和密码，需要将。
Kafka SASL_PLAINTEXT权限管理，并整合SpringBoot
紫蝶侠的博客
06-08 4120
1. Kafka broker 配置： 1）kafka增加认证信息： 在kafka的配置文件中创建JAAS文件： 新建： KafkaServer { org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin-sec" user_admin="admin-sec" user_producer="prod-sec" user_consumer="cons-sec"; };
Kafka SASL/PLAIN认证模式
最新发布
虽非技冠群英首，愿与同道共长歌； 大鹏一日同风起，扶摇直上九万里；
10-09 1621
Kafka Kraft模式SASL认证
Kafka 开启 SASL/PLAINTEXT 认证及 ACL
我吃柠檬的博客
07-06 5010
Linux 安装 Kafka 并开启 SASL/PLAINTEXT 认证
kafka部署SASL_PLAINTEXT协议设置身份认证
墨痕诉清风的博客
11-07 1233
修改 bin/kafka-server-start.sh 最后代码即可。为网络安全考虑，避免数据泄露，访问服务器时需要提供身份验证。文件中，找到并编辑以下配置。
Kafka安全认证机制详解之SASL_PLAIN
空城的博客
01-02 3285
上面配置是新增了两个用户，admin和tly，这两个用户都是普通用户，KafkaServer中的username、password配置的用户和密码，是用来broker和broker连接认证。在本例中，admin是代理broker间通信的用户。这个时候使用auth.conf已经不能创建topic了，使用admin.conf可以创建，因为admin账号和配置的超级管理员一致；使用权限配置并且超级用户是admin，这个用户和我们上面配置的列表中的admin用户相互映射，每个机器都需要配置然后重启所有节点。
kafka_2.11-1.1.0 配置 SASL_PLAINTEXT 认证方式
qq_44912603的博客
12-18 1907
前些日子要封装一个kafka的客户端驱动，配置了下kafka环境，发现配置复杂度完爆rabbitmq很多倍啊，而且发布订阅模式使用起来也很麻烦，可能就胜在分布式了吧。 kafka需要java环境，自行安装java sdk 1.8+. http://kafka.apache.org/downloads 官方加载安装包，当前为kafka_2.11-1.1.0.tgz （新版kafka包内集成了zookeeper，直接启动即可） 解压缩后kafka目录下文件： 配置： config路径下配置文件： consume
Kafka配置SASL_PLAINTEXT权限。常用操作命令，创建用户，topic授权
u010479989的博客
03-15 2440
Kafka配置SASL_PLAINTEXT权限。常用操作命令，创建用户，topic授权
Kafka安全认证SASL/PLAINTEXT，账号密码认证
不会写后端的前端不是一个好运维。
06-12 4061
环境centos7 kafka集群和zookeeper集群默认都是不带用户密码的。 1. 配置zookeeper集群SASL zookeeper所有节点都是对等的，只是各个节点角色可能不相同。以下步骤所有的节点配置相同。 1，为zookeeper添加SASL支持，在配置文件zoo.cfg添加如下配置 authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider requireClientAuthScheme=sasl j
SpringBoot 支持Kafka安全认证 SASL/PLAINTEXT，账号密码认证
u010637366的博客
08-21 1万+
环境 操作系统：CentOS 7.3 Kafka Version：2.12 Zookeeper Version:3.6.1 一、Zookeeper集群配置SASL zookeeper所有节点都是对等的，只是各个节点角色可能不相同。以下步骤所有的节点配置相同。 1、zoo.cfg文件配置 为zookeeper添加SASL支持，在配置文件zoo.cfg添加 authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticat.
KAFKA权限配置SASL/PLAIN身份验证
01-07
zookeeper集群SASL认证&KAFKA权限配置SASL/PLAIN身份验证 配置环境 JKD: 1.8 Kafka: 2.3.0 Zookeeper: 3.4.14 服务器名 kafka内网IP:PORT kafka外网IP:PORT zookeeper内网IP:PORT KAFKA01 192.168.1.157:9092 116.155.153.185:19092 192.168.1.157:2181 KAFKA02 192.168.1.158:9092 116.155.153.185:29092 192.168.1.157:2181 KAFKA03 192
Kafka安全认证SASL/PLAIN，并和springBoot整合
热门推荐
ITCloud
07-06 1万+
kafka_2.11-1.1.0.tgz、zookeeper-3.4.10.tar.gz版本 1. kafka配置 kafka解压目录下工作 # 1.新建配置文件 vi ./config/kafka_server_jaas.conf # 文件内容 # username定义一个公共的用户名，用于节点之间进行通信，user_xxxx主要是客户端用来连接kafka的，等号后面是密码，x...
搭建kafka安全认证SASL/PLAIN以及和springBoot整合
weixin_42211693的博客
05-30 1531
1.kafka拓扑图 kafka是依赖zookeeper集群的，扑图如下，分三层： 1.Producers:消息生产者，push消息给Brokers.发送时根据不同topic选择不同分区（在Broker上）。 2.Brokers：注册在zookeeper节点上。 3.Consumers：消息消费者，从brokers上根据订阅的topic选择不同分区，poll数据，执行消费。 ...
kafka安全认证与授权（SASL-PLAIN）
wangluoanquan111的博客
02-22 2272
第一种是报网络安全专业，现在叫网络空间安全专业，主要专业课程:程序设计、计算机组成原理原理、数据结构、操作系统原理、数据库系统、 计算机网络、人工智能、自然语言处理、社会计算、网络安全法律法规、网络安全、内容安全、数字取证、机器学习，多媒体技术，信息检索、舆情分析等。在每个Kafka broker的配置目录中添加一个经过适当修改的JAAS文件，类似于下面的文件，在本例中，我们将其称为kafka_server_jaas.conf。R匹配，则R没有关联的acl，因此除了超级用户之外，任何人都不允许访问R。
kafka安全认证与授权（SASL/PLAIN）
u011618288的博客
02-09 8522
快速搭建kafka SASL+ACL实现安全认证、授权 kafka SASL/PLAIN
Kafka安全认证机制详解之SASL_PLAIN_kafka sasl认证
2401_84138803的博客
04-07 2431
在结束之际，我想重申的是，学习并非如攀登险峻高峰，而是如滴水穿石般的持久累积。尤其当我们步入工作岗位之后，持之以恒的学习变得愈发不易，如同在茫茫大海中独自划舟，稍有松懈便可能被巨浪吞噬。然而，对于我们程序员而言，学习是生存之本，是我们在激烈市场竞争中立于不败之地的关键。一旦停止学习，我们便如同逆水行舟，不进则退，终将被时代的洪流所淘汰。因此，不断汲取新知识，不仅是对自己的提升，更是对自己的一份珍贵投资。让我们不断磨砺自己，与时代共同进步，书写属于我们的辉煌篇章。需要完整版PDF学习资源私我。
Kafka验证接口SASL_PLAINTEXT
涟漪、的博客
03-14 3387
zk_server_jaas.conf Server { org.apache.kafka.common.security.plain.PlainLoginModule required username="cluster" password="clusterpasswd" user_kafka="kafka"; }; kafka_server_jaas.conf KafkaServer { org.apache.kafka.common.security.
java实现kafka SASL/PLAIN
06-06
要在Java中实现Kafka SASL/PLAIN，您需要执行以下步骤： 1.在Kafka服务器上启用SASL/PLAIN身份验证，并在Kafka客户端中配置SASL/PLAIN参数。 2.在您的Java项目中，使用Kafka的Java客户端API来连接Kafka服务器，并配置正确的SASL/PLAIN参数。 以下是一个简单的示例代码，可用于在Java中实现Kafka SASL/PLAIN： ``` Properties props = new Properties(); props.put("bootstrap.servers", "kafka_server:9092"); props.put("security.protocol", "SASL_PLAINTEXT"); props.put("sasl.mechanism", "PLAIN"); props.put("sasl.jaas.config", "org.apache.kafka.common.security.plain.PlainLoginModule required username=\"kafka_username\" password=\"kafka_password\";"); KafkaProducer<String, String> producer = new KafkaProducer<String, String>(props); ProducerRecord<String, String> record = new ProducerRecord<String, String>("topic_name", "key", "value"); producer.send(record); ``` 这里我们使用了Kafka的Java客户端API来创建一个Kafka生产者，并设置了SASL/PLAIN相关参数，如SASL_PLAINTEXT协议、PLAIN机制和用户名/密码等。 注意，您需要将上面的代码中的参数替换为您自己的Kafka服务器信息和SASL/PLAIN凭证。 希望这可以帮助您在Java中实现Kafka SASL/PLAIN。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值