带有Kerberos认证的Kafka

本文介绍了如何在带有Kerberos认证的Kafka环境中进行topic的增删查操作,包括使用Kafka用户进行Kerberos认证、创建与描述topic、设置ACL权限。此外,还提供了生产者和消费者命令,并针对权限问题给出了解决方案。
摘要由CSDN通过智能技术生成

带有Kerberos认证的Kafka

对topic的增删查,生产者消费者的命令

1.需要刷新为Kafka用户进行Kerberos认证

cd /etc/security/keytabs/
[root@bigdata-hadoop-data--1 keytabs]# klist -kt kafka.service.keytab 
Keytab name: FILE:kafka.service.keytab
KVNO Timestamp           Principal
---- ------------------- ------------------------------------------------------
   1 07/01/2020 10:39:27 kafka/bigdata-hadoop-data--1.novalocal@DEV.COM
   1 07/01/2020 10:39:27 kafka/bigdata-hadoop-data--1.novalocal@DEV.COM
   1 07/01/2020 10:39:27 kafka/bigdata-hadoop-data--1.novalocal@DEV.COM
   1 07/01/2020 10:39:27 kafka/bigdata-hadoop-data--1.novalocal@DEV.COM
   1 07/01/2020 10:39:27 kafka/bigdata-hadoop-data--1.novalocal@DEV.COM
kinit -kt kafka.service.keytab kafka/bigdata-hadoop-data--1.novalocal

2.创建topic

 bin/kafka-topics.sh --zookeeper bigdata-hadoop-data--1.novalocal:2181 --create --topic second --replication-factor 1 --partitions 3

这里的bigdata-hadoop-data--1.novalocal:2181以实际为准

--create创建参数,删除改为--delete即可

--topic定义topic名

--replication-factor定义副本数

--partitions定义分区数

3.查看topic的详情

bin/kafka-topics.sh --zookeeper bigdata-hadoop-data--1.novalocal:2181 --describe --topic second

--describe定义描述的参数

4.acl授权

 bin/kafka-acls.sh --authorizer-properties zookeeper.connect=bigdata-hadoop-data--1.novalocal:2181/kafka2 --add --allow-principal User:ffcs_bigdata --producer --topic second

先进行5、6如果能够成功这步就不需要了

5.生产者生产消息

bin/kafka-console-producer.sh --broker-list bigdata-hadoop-data--1.novalocal:6667 --topic second --security-protocol PLAINTEXTSASL --producer-property sasl.mechanism=GSSAPI

6.消费者消费消息

bin/kafka-console-consumer.sh --bootstrap-server bigdata-hadoop-data--1.novalocal:6667 --from-beginning --topic second --security-protocol PLAINTEXTSASL

我在测试生产消费过程中,一直报这个错
在这里插入图片描述
提示我没有操作second这个topic的权限

解决方法:就是第一步+第三步,如果第一步执行完,能够执行生产消费过程,就不需要执行第三步

我没有操作second这个topic的权限

解决方法:就是第一步+第三步,如果第一步执行完,能够执行生产消费过程,就不需要执行第三步

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Kafka Kerberos认证Kafka消息队列系统中一种安全认证机制,用于确保Kafka集群中的通信和数据传输的安全性。 Kafka是一个分布式的高吞吐量消息队列系统,可以用于实现实时数据流处理和消息传递。为了保护Kafka集群免受未授权的访问和攻击,Kafka提供了多种安全认证机制,其中之一就是Kerberos认证Kerberos是一种强大的网络认证协议,用于客户端和服务端之间的身份验证和数据传输的加密。Kerberos特别适合于分布式系统,因为它可以使用户在多个系统中共享认证凭证。 Kafka Kerberos认证的工作原理如下: 1. 客户端将请求发送到Kafka集群中的任意一个Broker。 2. Broker发送Kerberos令牌请求给Kerberos认证中心(KDC)。 3. KDC对Broker和客户端进行身份验证,并颁发令牌。 4. Broker将令牌发送回客户端。 5. 客户端使用令牌进行身份验证,并将请求再次发送到Broker,以获取或发送消息。 通过使用Kerberos认证Kafka可以确保只有经过身份验证的客户端能够连接和与Kafka集群进行通信。这种认证机制可以有效防止未授权的访问和数据泄露风险。同时,Kerberos认证还增加了数据传输的安全性,通过对传输的数据进行加密,防止数据被窃听或篡改。 总而言之,Kafka Kerberos认证是一种在Kafka消息队列系统中确保安全通信和数据传输的有效机制,它通过Kerberos认证和加密技术,实现了身份验证和数据传输的安全性。这可以帮助用户建立安全可靠的消息传递系统,并保护集群免受未授权访问和数据泄露的风险。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MirkoLin596

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值