Kafka安全认证：SASL/GSSAPI (kerberos)

最新推荐文章于 2024-09-20 19:11:47 发布
最新推荐文章于 2024-09-20 19:11:47 发布
阅读量6.2k 收藏 8
点赞数 1
分类专栏： Kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a1240466196/article/details/105879429
版权
本文详细介绍了如何在CentOS7环境下，将Kafka (2.12-2.3.0) 和 Zookeeper (3.6.0) 集成Kerberos进行SASL/GSSAPI安全认证。内容包括创建Kerberos主体及keytab，配置jaas.conf、server.properties和zookeeper.properties，启动脚本以及客户端（producer和consumer）的使用。参考了多个来源以确保操作的准确性和安全性。
摘要由CSDN通过智能技术生成

文章目录

1. 环境

kafka版本：2.12-2.3.0

zookeeper版本：3.6.0

操作系统：CentOS7

2. 创建主体并生成keytab

在kerberos中，用户和服务是平等的关系，都是以principal的形式存在

$ kadmin.local
# kafka broker，zookeeper，kafka client主体
# 其中stream.dt.local表示kafka broker所在主机的FQDN，Fully Qualified Domain Name的缩写, 含义是完整的域名
$ kadmin.local:  addprinc kafka/stream.dt.local@EXAMPLE.COM
$ kadmin.local:  addprinc zookeeper/stream.dt.local@EXAMPLE.COM
$ kadmin.local:  addprinc clients/stream.dt.local@EXAMPLE.COM

# 生成主体对应的keytab文件
$ kadmin.local:  xst -k /opt/third/kafka/kerberos/kafka_server.keytab
$ kadmin.local:  xst -k /opt/third/zookeeper/kerberos/kafka_zookeeper.keytab
$ kadmin.local:  xst -k /opt/third/kafka/kerberos/kafka_client.keytab

# 给keytab赋予可读权限
$ chmod -R 777 /opt/third/kafka/kerberos/kafka_server.keytab
$ chmod -R 777 /opt/third/zookeeper/kerberos/kafka_zookeeper.keytab
$ chmod -R 777 /opt/third/kafka/kerberos/kafka_client.keytab

设置FQDN的方式

$ cat /etc/hostname
demo-db
$ vim /etc/hosts
192.168.90.88  stream.dt.local demo-db
# 192.168.90.88是本机ip，stream.dt.local是要设置的FQDN，demo-db是主机名

3. 配置jaas.conf

/opt/third/kafka/kerberos/kafka_server_jaas.conf


                

                
                
        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  Matty_Blog
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
Debezium系列之：认证方式使用kerberos认证SASL/GSSAPI

				
			

			

				

					zhengzaifeidelushang的博客
				

				

					12-23
					
					821
					
				

			

		

		

			
				
Debezium系列之：认证方式使用kerberos认证SASL/GSSAPI

			
		

	



                

            
              



	

		

			

				
					
（二）Kafka 安全之使用 SASL 进行身份验证 —— SASL/Kerberos 验证

				
			

			

				

					流华追梦的专栏
				

				

					06-25
					
					1061
					
				

			

		

		

			
				
接上一篇《（一）Kafka 安全之使用 SASL 进行身份验证 —— JAAS 配置、SASL 配置》，本文从第四节开始。

			
		

	



              


  
              

                


	

		

			

				
					
Kafka安全认证：SASL/GSSAPI(kerberos)

				
			

			

				

					welcome to daijiguo's blog
				

				

					05-01
					
					4416
					
				

			

		

		

			
				
文章目录kafka和zookeeper开启kerberos认证1. 环境2. 创建主体并生成keytab3. 配置jaas.conf4. 配置kafka server.properties5. 配置kafka zookeeper.properties6. kafka broker+zookeeper启动脚本7. kafka client的使用7.1 producer7.2 consumer
kaf...

			
		

	





	

		

			

				
					
kafka动态认证 自定义认证 安全认证-亲测成功

					
最新发布

				
			

			

				

					yinjl123的博客
				

				

					09-20
					
					1108
					
				

			

		

		

			
				
Kafka默认是没有安全机制的，一直在裸奔。用户认证功能，是一个成熟组件不可或缺的功能。在0.9版本以前kafka是没有用户认证模块的（或者说只有SSL），好在kafka0.9版本以后逐渐发布了多种用户认证功能，弥补了这一缺陷（这里仅介绍SASL），认证机制是SASL/PLAIN。kafka的用户认证，是基于java的jaas。所以我们需要先添加jaas服务端的配置文件。注意最后一个属性后面需要加分号！

			
		

	



		

			
		



	

		

			

				
					
集成 OpenLDAP 与 Kerberos 实现统一认证 (3)：基于 SASL/GSSAPI 深度集成

				
			

			

				

					Laurence的技术博客
				

				

					06-07
					
					2871
					
				

			

		

		

			
				
本文首发于 InfoQ，写作本系列文章的背景是我们要在大数据平台/企业数据湖场景下给出中心化的用户身份认证方案。此前，我们实现过Windows AD + Kerberos的集成方案，由于Windows AD是LDAP和Kerberos的双重实现，这种天然优势使得Windows AD可以实现真正意义上的（大数据集群的）Kerberos账号与企业用户账号的统一管理。当我们想在OpenLDAP + Kerberos上实现同样的目标时，发现这一领域的知识与方案琐碎而凌乱，缺少统一连贯，脉络清晰的讲解

			
		

	





	

		

			

				
					
kafka安全权限验证sasl配置

				
			

			

				

					codeLife1993的博客
				

				

					08-28
					
					1677
					
				

			

		

		

			
				
Kafka

安全认证配置 SASL

常规配置(kafka和zk)

kafka server配置


#进入kafka的配置目录config
cd /mnt/data/kafka/config
#新建配置文件
touch kafka_server.jaas.conf
vim kafka_server.jaas.conf
#注意password后边有;
KafkaServer {
   org.apache.kafka.common.security.plain.PlainLoginModule req.

			
		

	





	

		

			

				
					
【Java】Springboot整合Kafka配置Kerberos/GSSAPI认证

				
			

			

				

					开染坊的白猫
				

				

					06-03
					
					6772
					
				

			

		

		

			
				
前提
测试环境的kafka升级了，现在连接需要有KRB/GSSAPI认证，并进行相应的权限管理。
kafka集群版本：2.1.0.0
pom文件的springboot版本：2.0.8.RELEASE, kafka版本：2.1.7.RELEASE
需要的配置文件

kafka_client_jaas.conf
krb5.conf
user.keytab

其中user.keytab、krb5.conf文件需要自己根据kafka server的配置生成。
kafka_client_jaas.conf如下：
Ka

			
		

	





	

		

			

				
					
Debezium系列之：使用Kerberos认证SASL/GSSAPI

				
			

			

				

					XbtoMemory的博客
				

				

					09-17
					
					376
					
				

			

		

		

			
				
在开始之前，确保你的系统已经正确安装了Kerberos，并且你有一个有效的Kerberos主体和密钥。通过以上步骤，你就可以在Debezium中成功配置和使用Kerberos认证的SASL/GSSAPI了。这些配置项指定了使用GSSAPI机制进行认证，使用SASL_PLAINTEXT协议进行连接，并指定了先前创建的Jaas文件的名称。现在，你可以启动你的Debezium连接器，并开始使用Kerberos认证进行身份验证和数据流传输了。请确保将示例中的连接器配置参数替换为你自己的实际配置。

			
		

	





	

		

			

				
					
Kafka 1.1.1版本利用SASL/Kerberos进行身份认证

				
			

			

				

					ShanQuanQiang的专栏
				

				

					01-16
					
					6087
					
				

			

		

		

			
				
 


	准备工作
	
	
	配置kdc
	
	
	配置kafka brokers
	
	
	配置zookeeper
	
	
	配置kafka客户端
	
	
	常见问题
	
1.准备工作

系统环境：Centos 7

在Kerberos的部署过程中，要求使用FQDN,即Hostname.DomainName。

hostname的查看命令： hostname

domainname的查看命令：d...

			
		

	





	

		

			

				
					
数字证书、ssl、sasl（GSSAPI，Kerberos）、jaas简单解释

				
			

			

				

					码农崛起
				

				

					01-22
					
					2755
					
				

			

		

		

			
				
数字证书: 由CA(大家都信赖的第三方机构)派发,内容包括:

   (1).Common Name(证书所有人姓名，简称CN，其实就是证书的名字)

　　 (2).Version(版本，现在一般是V3了)

　　 (3).Issuer(发证机关)

　　 (4).Validity(有效日期)

　　 (5).Subject(证书信息，你会发现它和Issuer里面的内容是一样的)

　　 (6).Subject's Public Key Info(证书所有人的公钥)

　　 (7).Extensio...

			
		

	





	

		

			

				
					
【Kafka】手把手SASL，SSL教学

				
			

			

				

					metaldong的博客
				

				

					01-12
					
					3145
					
				

			

		

		

			
				
kafka的SASL和SSL配置全指南

			
		

	





	

		

			

				
					
kafka安装部署-前面部分

				
			

			

				

					wt6002的博客
				

				

					09-03
					
					385
					
				

			

		

		

			
				
step 1: 下载代码

你可以登录Apache kafka 官方下载。http://kafka.apache.org/downloads.html

下载和自己系统匹配的

Step 2: 启动服务

运行kafka需要使用Zookeeper，所以你需要先启动Zookeeper，如果你没有Zookeeper，你可以使用kafka自带打包和配置好的Zookeeper（PS：在kafka包里）。

在和kafka一个目录bin文件夹下面;





//这是前台启动，启动以后，当前就无法进行其他操作（不推.

			
		

	





	

		

			

				
					
Kafka系列之：详细总结认证方式PLAINTEXT、GSSAPI、Scram的实现方式，通过Ranger、Kerberos实现kafka账号的Topic权限管理

				
			

			

				

					zhengzaifeidelushang的博客
				

				

					02-17
					
					684
					
				

			

		

		

			
				
Kafka系列之：详细总结认证方式PLAINTEXT、GSSAPI、Scram的实现方式，通过Ranger、Kerberos实现kafka账号的Topic权限管理

			
		

	





	

		

			

				
					
Linux安装gssapi、kafka-python实现Kerberos认证连接Kafka等中间件集群服务（最新版）

				
			

			

				

					代码讲故事
				

				

					03-31
					
					4452
					
				

			

		

		

			
				
kafka集群搭建，比较简单，直接略过，这里使用最新版v3.1.0，同时配置kafka通过Kerberos认证连接，配置之后，通过客户端连接进行测试。
需要注意的地方：
1、IP地址修改为机器的实际IP地址
2、hostname修改为服务器的实际域名或者机器名称
3、文件路径/opt/kafka/config/kafka.keytab修改为实际的路径
4、消费kafka的group_id修改为需要的IP，默认是t001

需要安装依赖库如下：
yum install -y krb5-workstation


			
		

	





	

		

			

				
					
Kafka-配置Kerberos安全认证(JDK8、JDK11)

				
			

			

				

					孟孟的博客
				

				

					07-24
					
					4890
					
				

			

		

		

			
				
从 Kerberos 服务器上拷贝到目标机器 或 找运维人员要一份。从 Kerberos 服务器上拷贝到目标机器 或 找运维人员要一份。3、Kerberos 配置文件（2、keytab 文件（1、JAAS 配置文件。

			
		

	





	

		

			

				
					
Kafka安全认证机制详解之SASL_PLAIN

				
			

			

				

					空城的博客
				

				

					01-02
					
					3277
					
				

			

		

		

			
				
上面配置是新增了两个用户，admin和tly，这两个用户都是普通用户，KafkaServer中的username、password配置的用户和密码，是用来broker和broker连接认证。在本例中，admin是代理broker间通信的用户。这个时候使用auth.conf已经不能创建topic了，使用admin.conf可以创建，因为admin账号和配置的超级管理员一致；使用权限配置并且超级用户是admin，这个用户和我们上面配置的列表中的admin用户相互映射，每个机器都需要配置然后重启所有节点。

			
		

	





	

		

			

				
					
kafka配置kerberos认证&&java/netcore连接kerberos的kafka

				
			

			

				

					yangqin@1225的博客
				

				

					05-19
					
					3792
					
				

			

		

		

			
				
安装kdc及配置


安装kdc
yum install -y krb5-libs krb5-server krb5-workstation krb5-libs



修改配置文件，将realms以及default_realm取消注释
vi /etc/krb5.conf




创建数据库存放principal
kdb5_util create -r EXAMPLE.COM -s



使用kadmin.local来添加kafka以及zookeeper的principal (按q可退出kadmin.loca

			
		

	





	

		

			

				
					
十一 kafka数据安全，以及Spark Kafka Streaming API

				
			

			

				

					张金玉的专栏
				

				

					01-04
					
					259
					
				

			

		

		

			
				

一基本网址
http://spark.apache.org/docs/1.6.2/api/java/index.html
在API中搜索org.apache.spark.streaming.kafka

二spark对接kafka流两种方案
在org.apache.spark.streaming.kafka中有个KafkaUtils ，里面有两种方案
其中获取kafka的流有两种方案
2.1其中...

			
		

	





	

		

			

				
					
Springboot 集成kafka 以及连接 带有SASL/PLAIN 的kafka

				
			

			

				

					寂夜了无痕的博客
				

				

					03-21
					
					2888
					
				

			

		

		

			
				
Springboot 集成kafka 以及连接 带有SASL/PLAIN 的kafka

			
		

	





	

		

			

				
					
java实现kafka SASL/GSSAPI principal

				
			

			

				

					06-06
				

			

		

		

			
				
在Java中实现Kafka SASL/GSSAPI principal，可以使用Kafka提供的Java客户端库来实现。以下是实现的步骤：

1. 在Java代码中配置Kafka客户端的SASL认证：

```java
Properties props = new Properties();
props.put("bootstrap.servers", "kafka-broker1:9092,kafka-broker2:9092");
props.put("security.protocol", "SASL_PLAINTEXT");
props.put("sasl.kerberos.service.name", "kafka");
props.put("sasl.mechanism", "GSSAPI");
props.put("sasl.jaas.config", "com.sun.security.auth.module.Krb5LoginModule required "
    + "useKeyTab=true "
    + "storeKey=true "
    + "keyTab=\"/path/to/kafka.keytab\" "
    + "principal=\"kafka/kafka-broker1@EXAMPLE.COM\";");
```

其中，`bootstrap.servers`指定Kafka集群中的broker列表，`security.protocol`指定SASL认证协议，`sasl.kerberos.service.name`指定Kafka服务的Kerberos服务名称，`sasl.mechanism`指定SASL机制为GSSAPI，`sasl.jaas.config`指定使用Kerberos principal和keytab文件进行身份验证。

2. 创建Kafka生产者或消费者对象：

```java
KafkaProducer<String, String> producer = new KafkaProducer<>(props);
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
```

3. 使用Kafka客户端进行消息生产或消费：

```java
ProducerRecord<String, String> record = new ProducerRecord<>("my-topic", "key", "value");
producer.send(record);

consumer.subscribe(Arrays.asList("my-topic"));
ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(1));
for (ConsumerRecord<String, String> record : records) {
    System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
}
```

通过以上步骤，您可以在Java中实现Kafka SASL/GSSAPI principal，并使用Kafka客户端进行消息生产和消费。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值