Kafka SASL/PLAIN认证插件

最新推荐文章于 2024-05-01 13:34:08 发布
最新推荐文章于 2024-05-01 13:34:08 发布
阅读量780 收藏
点赞数
分类专栏： 工作杂记 文章标签： Kafka 大数据 认证 SASL 安全
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013686990/article/details/102869087
版权
本文介绍了在Kafka中启用SASL/PLAIN认证和ACL授权的背景及方法，并针对静态配置文件的问题，提出通过自定义回调函数实现动态用户管理的解决方案。详细讲解了自定义插件的编写过程，包括与MySQL的集成，以及如何避免重启Kafka。同时，文章还提及了插件日志配置的调整，以便于调试。
摘要由CSDN通过智能技术生成

文章目录

背景

我们的Kafka一直是没有安全机制地裸奔，最近需要给它升个级，加上认证和授权机制，认证机制是SASL/PLAIN，授权是Kafka自带的ACL授权。

SASL/PLAIN认证机制开启方法：

  1. 修改Kafka配置文件 server.properties 或者其它名字（CDH和Ambari的发行版可能文件名有所差异）
sasl.enabled.mechanisms = PLAIN
sasl.mechanism.inter.broker.protocol = PLAIN
security.inter.broker.protocol = SASL_PLAINTEXT
listeners = SASL_PLAINTEXT://localhost:9092
  1. 编辑 kafka_jaas.conf：
KafkaServer {
   
    org.apache.kafka.common.security.plain.PlainLoginModule required
    # broker之间互相认证的凭据
    username="admin"
    password="admin-secret"
    # 以下是用户信息
    user_admin="admin-secret"   # 用户admin的密码是admin-secret
    user_alice="alice-secret";  # 用户alice的密码是alice-secret
};

启动kafka的时候把 kafka_jaas.conf 的路径当作命令行参数传入：

-Djava.security.auth.login.config=/path/to/kafka_jaas.conf

ACL授权机制开启方法：

编辑Kafka配置文件，添加如下内容：


                

                
                
        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  我是个大bug
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
KAFKA权限配置SASL/PLAIN身份验证

				
			

			

				

					01-07
				

			

		

		

			
				
zookeeper集群SASL认证&KAFKA权限配置SASL/PLAIN身份验证 配置环境 JKD: 1.8 Kafka: 2.3.0 Zookeeper: 3.4.14     服务器名 kafka内网IP:PORT kafka外网IP:PORT zookeeper内网IP:PORT     KAFKA01 192.168.1.157:...

			
		

	



                

              
                



	

		

			

				
					
kafka的sasl配置

				
			

			

				

					atarik@163.com
				

				

					02-27
					
					2300
					
				

			

		

		

			
				
1、Kafka brokers的SASL配置


	在broker中选择1个或多个支持的机制启用，kafka目前支持的机制有 GSSAPI 和 PLAIN 。
	
	
	添加一个JAAS文件来配置选择的 GSSAPI（Kerberos）或 PLANIN。
	
	
	JAAS配置文件位置作为JVM参数传递给每个broker代理。例如:

	
 - Djava.security.auth.login....

			
		

	



                


  
              

                


	

		

			

				
					
Kafka动态认证SASL/SCRAM配置+整合springboot配置

				
			

			

				

					weixin_52925162的博客
				

				

					11-11
					
					8757
					
				

			

		

		

			
				
Kafka动态认证SASL/SCRAM配置+整合springboot配置

			
		

	





	

		

			

				
					
单机上部署kafka3.5，并配置sasl认证

				
			

			

				

					univers1的博客
				

				

					08-26
					
					1120
					
				

			

		

		

			
				
今天我要跟大家分享一下如何在单机上部署kafka3.5，并配置sasl认证（plaintext模式）。kafka是一个分布式的消息队列，可以用来处理大量的数据流。sasl是一种安全认证机制，可以保证kafka的通信安全。下面我会分几个步骤来介绍这个过程。

			
		

	



		

			
		



	

		

			

				
					
Kafka SASL/PLANTEXT ACL配置

					
热门推荐

				
			

			

				

					qq_36389344的博客
				

				

					07-10
					
					1万+
					
				

			

		

		

			
				
1. Windows系统启动Kafka报错异常，ERROR Shutdown broker because all log dirs in /tmp/kafka-logs have failed

分析：无

方案：删除 /tmp/kafka-logs(内置ubuntu) 文件夹内所有文件, 删除提示错误的文件夹路径内文件

2. ERROR [KafkaServer id=0] Fatal error during KafkaServer startup. Prepare to shutdown (ka.

			
		

	





	

		

			

				
					
Kafka SASL/PLAIN加密 及Kafka-Python整合

				
			

			

				

					Aarend的博客
				

				

					10-10
					
					4522
					
				

			

		

		

			
				
SASL/PLAIN是kafka中一种使用用户名/密码的身份验证机制，本文使用Kafka-Python2.02 及kafka3.2.0进行简单的整合操作。

			
		

	





	

		

			

				
					
kafka 插件kafka 插件kafka 插件

				
			

			

				

					06-26
				

			

		

		

			
				
**Kafka插件详解**  Kafka插件是Apache Kafka与各种工具集成的重要组成部分，它使得开发者和运维人员能够更方便地在不同的系统中利用Kafka的功能。Kafka是一款分布式流处理平台，常用于构建实时数据管道和流应用，...

			
		

	





	

		

			

				
					
Kafka 配置用户名密码例子

				
			

			

				

					09-10
				

			

		

		

			
				
在本文中，我们将深入探讨如何在Apache Kafka中配置SASL/PLAIN认证机制，并通过具体的密码验证实现安全的通信。Kafka是一个分布式流处理平台，它在数据传输中扮演着重要角色，而安全性是其核心考量之一。SASL...

			
		

	





	

		

			

				
					
使用sasl的kafka集群的搭建使用

				
			

			

				

					03-15
				

			

		

		

			
				
在Kafka集群中，使用SASL机制可以实现生产者和消费者与Kafka集群之间的安全认证。  Kafka集群是由多个代理（Broker）组成的分布式消息系统，其中代理是指运行Kafka服务器的每个节点。每个代理上保存了消息数据的日志...

			
		

	





	

		

			

				
					
Jmeter Kafka Sampler插件

				
			

			

				

					01-27
				

			

		

		

			
				
Jmeter Kafka Sampler插件 详细介绍请参考博客： https://blog.csdn.net/TalorSwfit20111208/article/details/127270944

			
		

	





	

		

			

				
					
Kafka配置SASL安全认证

				
			

			

				

					你说亮不亮的博客
				

				

					08-12
					
					5433
					
				

			

		

		

			
				
1、在server.properties中加入以下内容，启用SASL安全认证：
[root@kafka1 ~]# cat /usr/local/kafka/config/server.properties 

listeners=SASL_PLAINTEXT://192.168.1.8:9092
security.inter.broker.protocol=SASL_PLAINTEXT 
sasl.enabled.mechanisms=PLAIN
sasl.mechanism.inter.broker.pr

			
		

	





	

		

			

				
					
kafka分布式集群 SASL_PLAINTEXT 模式的加密部署

				
			

			

				

					linux运维工程师的博客
				

				

					09-09
					
					2270
					
				

			

		

		

			
				
大家好，我是Linux运维工程师 Linke 。技术过硬，很少挖坑~
此刻时间紧迫，来不及扯淡了，直接进入正题。
一、kafka依赖于 zookeeper 的选举机制
二、分布式工作原理
日志的分区partition （分布）在Kafka集群的任意服务器上。每个服务器在处理数据和请求时，共享这些分区。每一个分区都会在已配置的服务器上进行备份，确保容错性.
每个分区都有一台 server 作为 “l...

			
		

	





	

		

			

				
					
kafka安全认证与授权（SASL/PLAIN）

				
			

			

				

					u011618288的博客
				

				

					02-09
					
					8388
					
				

			

		

		

			
				
快速搭建kafka SASL+ACL实现安全认证、授权
kafka SASL/PLAIN

			
		

	





	

		

			

				
					
Kafka安全认证机制详解之SASL_PLAIN

				
			

			

				

					空城的博客
				

				

					01-02
					
					3209
					
				

			

		

		

			
				
上面配置是新增了两个用户，admin和tly，这两个用户都是普通用户，KafkaServer中的username、password配置的用户和密码，是用来broker和broker连接认证。在本例中，admin是代理broker间通信的用户。这个时候使用auth.conf已经不能创建topic了，使用admin.conf可以创建，因为admin账号和配置的超级管理员一致；使用权限配置并且超级用户是admin，这个用户和我们上面配置的列表中的admin用户相互映射，每个机器都需要配置然后重启所有节点。

			
		

	





	

		

			

				
					
为kafka配置SASL（简单认证安全）安全认证

				
			

			

				

					wangzhicheng2013的专栏
				

				

					08-24
					
					2641
					
				

			

		

		

			
				
1.增加kafka_server_jaas.conf

进入kafka的配置目录config:

vim kafka_server_jaas.conf

#增加如下内容：

KafkaServer {

org.apache.kafka.common.security.plain.PlainLoginModule required

username="kafka"

password="kafka#secret"

user_kafka="kafka#secret"

...

			
		

	





	

		

			

				
					
kafka 添加sasl认证 权限控制

				
			

			

				

					u013568834的专栏
				

				

					07-15
					
					1787
					
				

			

		

		

			
				
刚开始用到，按照网上写的配置，到最后要么验证失败 要么直接启动不了，发现好多都是写的不全，所以我这算是整理一下。其实都是整理一下。

单机模式

版本：

apache-zookeeper-3.6.1-bin.tar.gz

kafka_2.12-2.5.0.tgz

官网都可以直接下载到

1.解压安装

正常解压就行

2.配置zookeeper

在zoo.cnf 最后面（我通常都在最后边）加

authProvider.1=org.apache.zookeeper.server.auth.SASLA

			
		

	





	

		

			

				
					
Kafka安全认证机制详解之SASL_PLAIN_kafka sasl认证，2024年最新网络安全核心知识点

				
			

			

				

					2301_76379606的博客
				

				

					04-09
					
					1235
					
				

			

		

		

			
				
验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上网络安全知识点，真正体系化！**

			
		

	





	

		

			

				
					
【kafka】docker容器bitnami/kafka使用SASL鉴权（无TLS）

					
最新发布

				
			

			

				

					weixin_41855143的博客
				

				

					05-01
					
					2106
					
				

			

		

		

			
				
可以设置为一个新的listener，也可以设置为现有的listener（controller除外），本文就以设置现有的listener为例，将改值设置为。后来发现其实是可以单独使用SASL，而且官方文档没有完整的配置资料，最后在Issue上找到解决方案。最近在学习kafka消息队列，了解到kafka是通过SASL来进行用户认证的。参数的作用是一致的，都是为了设置broker之间通信的配置，由于。默认值的，但是这个值在容器使用中会出现错误，而且在。设置之后依然存在问题，本文暂不讨论，后续就以。

			
		

	





	

		

			

				
					
kafka安全认证与授权（SASL-PLAIN）

				
			

			

				

					wangluoanquan111的博客
				

				

					02-22
					
					1977
					
				

			

		

		

			
				
第一种是报网络安全专业，现在叫网络空间安全专业，主要专业课程:程序设计、计算机组成原理原理、数据结构、操作系统原理、数据库系统、 计算机网络、人工智能、自然语言处理、社会计算、网络安全法律法规、网络安全、内容安全、数字取证、机器学习，多媒体技术，信息检索、舆情分析等。在每个Kafka broker的配置目录中添加一个经过适当修改的JAAS文件，类似于下面的文件，在本例中，我们将其称为kafka_server_jaas.conf。R匹配，则R没有关联的acl，因此除了超级用户之外，任何人都不允许访问R。

			
		

	





	

		

			

				
					
java实现kafka SASL/PLAIN

				
			

			

				

					06-06
				

			

		

		

			
				
要在Java中实现Kafka SASL/PLAIN，您需要执行以下步骤：

1.在Kafka服务器上启用SASL/PLAIN身份验证，并在Kafka客户端中配置SASL/PLAIN参数。

2.在您的Java项目中，使用Kafka的Java客户端API来连接Kafka服务器，并配置正确的SASL/PLAIN参数。

以下是一个简单的示例代码，可用于在Java中实现Kafka SASL/PLAIN：

```
Properties props = new Properties();
props.put("bootstrap.servers", "kafka_server:9092");
props.put("security.protocol", "SASL_PLAINTEXT");
props.put("sasl.mechanism", "PLAIN");
props.put("sasl.jaas.config", "org.apache.kafka.common.security.plain.PlainLoginModule required username=\"kafka_username\" password=\"kafka_password\";");

KafkaProducer<String, String> producer = new KafkaProducer<String, String>(props);

ProducerRecord<String, String> record = new ProducerRecord<String, String>("topic_name", "key", "value");
producer.send(record);
```

这里我们使用了Kafka的Java客户端API来创建一个Kafka生产者，并设置了SASL/PLAIN相关参数，如SASL_PLAINTEXT协议、PLAIN机制和用户名/密码等。

注意，您需要将上面的代码中的参数替换为您自己的Kafka服务器信息和SASL/PLAIN凭证。

希望这可以帮助您在Java中实现Kafka SASL/PLAIN。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值