Flink访问带kerberos认证的kafka: Can‘t get Master Kerberos principal for use as renewer

最新推荐文章于 2023-09-06 14:58:02 发布
最新推荐文章于 2023-09-06 14:58:02 发布
阅读量845 收藏 1
点赞数 1
分类专栏： hive 文章标签： flink java hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38349554/article/details/129028899
版权 
Failed with exception java.io.IOException:java.io.IOException: Can't get Master Kerberos    principal for use as renewer

在yarn-site.xml

中添加以下配置

<property>
    <name>yarn.nodemanager.principal</name>
    <value>xxx_priciple/fqdn@_HOST</value>
</property>
<property>
    <name>yarn.resourcemanager.principal</name>
    <value>xxx_priciple/fqdn@_HOST</value>
</property>
零零淇
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java实现flink订阅Kerberos认证的Kafka消息示例源码
04-16
java实现flink订阅Kerberos认证的Kafka消息源码
flink-sql-connector-kafka-2.12-1.13.1.jar
最新发布
03-15
flink-sql-connector-kafka_2.12-1.13.1.jar 是 Apache Flink 的一个 Kafka SQL Connector 的 JAR 包，用于在 Flink SQL 环境中与 Apache Kafka 集成。这里面的数字 2.12 和 1.13.1 分别表示了这个 JAR 包所依赖的 ...
Kerberos Spark读取HDFS的文件报错:Can‘t get Master Kerberos principal for use as renewer
TT-Learning
03-30 3976
问题： 集群开启Kerberos安全认证，IDEA中编写Scala代码，使用Spark读取HDFS中的文件，报错：Can’t get Master Kerberos principal for use as renewer 具体报错如下： Exception in thread "main" java.io.IOException: Can't get Master Kerberos principal for use as renewer at org.apache.hadoop.mapreduce.s
flink集群消费kerberos认证的kafka
Sivan
01-11 3632
首先用单机的java代码去消费kerberos认证的kafka，已经跑通，主要用到的几个文件如下所示： 1.jaas文件 2.krb5.conf 3.keytab认证文件 4.还需要提供principle，我的是kafka/bigdata-4@EXAMPLE.COM 单机的先把程序跑通了以后，就开始进行flink的认证。 首先需要修改flink配置文件flink-conf.yaml,修改这几项内容，然后把配置文件同步到整个集群，重启flink集群，内容如下 ..
Kerberos常见问题
热门推荐
wank1259162的博客
01-11 1万+
Error Messages to Fear 参考地址：Introduction · Hadoop and Kerberos: The Madness Beyond the Gate Security error messages appear to take pride in providing limited information. In particular, they are usually some generic IOException wrapping a generic securit
Hadoop相关问题解决--记录
奔跑入坑大数据
07-23 5210
Hive 1.查询hivemeta信息，查到的numRows为-1 cdh 不限 不限 不限 在hivemeta库中可以通过以下sql查询表的元数据信息 SELECT * FROM TABLE_PARAMS WHERE tbl_id = 45857 其中numRows会被用来统计为表的行数，但是发现有些表查出来行数为-1 可能原因 可能是因为这个表新建后没有通过这种方式插入过数据，所以表没有进行过统计，默认信息即为numRows=-1 解决方案 使用命令ANALYZE.
flink写入带kerberos认证的kudu connector
03-24
当Flink需要与Kudu交互时，Kerberos认证机制的引入是为了增强系统的安全性，防止未授权的访问。本文将详细介绍如何在Flink中配置和使用带Kerberos认证的Kudu Connector。 ### 1. Kerberos认证简介 Kerberos 是一种...
Flink入门：读取Kafka实时数据流，实现WordCount
01-07
本文主要介绍Flink接收一个Kafka文本数据流，进行WordCount词频统计，然后输出到标准输出上。通过本文你可以了解如何编写和运行Flink程序。 代码拆解 首先要设置Flink的执行环境： // 创建Flink执行环境 ...
flink-connector-kafka-0.10-2.11-1.10.0-API文档-中文版.zip
04-23
Maven坐标：org.apache.flink:flink-connector-kafka-0.10_2.11:1.10.0； 标签：flink、0、11、apache、connector、10_2、kafka、jar包、java、API文档、中文版； 使用方法：解压翻译后的API文档，用浏览器打开...
安装笔记：hadoop+hbase+sqoop2+phoenix+kerberos
01-12
利用两台云主机（真实环境至少三台）安装hadoop+hbase+sqoop2+phoenix+kerberos的过程笔记，从伪分布式到kerberos认证。
我遇到的can't get master kerberos principal问题解决
CSDN_wsr的博客
07-19 3788
我遇到的can’t get master kerberos principal问题解决 代码用eclipse编写打包，shell脚本里面调度执行，因为换了新的平台有Kerberos认证，所以需要在代码中配置 System.setProperty(“java.security.krb5.conf”,“krb5的路径（本地测试写本地相对路径，堡垒机跑写堡垒机路径）”) UserGroupInforma...
Flink读写Kerberos认证Kafka环境。
peidezhi的专栏
04-07 5958
Flink比较完美的支持kerberos读写Kafka. 1flink-conf.yaml , 将如下涉及kerberos的配置注解去除 2 代码读写kafka示例如下： def main(args: Array[String]): Unit = { val params: ParameterTool = ParameterTool.fromArgs(args)...
centos7下Kerberos认证并集成Kafka，java代码实现flink订阅Kerberos认证的Kafka消息
weixin_43857712的博客
04-16 1248
centos7下Kerberos认证并集成Kafka 版本环境： （1）centos7.6 （2）kafka_2.12-0.10.2.2 （3）kerberos （4）flink-1.11.3-bin-scala_2.11 （5）jdk1.8 注意：其中“b.kuxiao”是我的hostname 一、kafka安装 1.1.去官网下载kafka kafka官网：http://kafka.apache.org/downloads. 选择自己需要的版本：（本文我使用的是0.10.2.2版本） 1.2.解压
Flink 系例 之 Connectors 连接 Kafka
不会飞的小龙人的博客
11-09 1333
通过使用 Flink DataStream Connectors 数据流连接器连接到 ElasticSearch 搜索引擎的文档数据库 Index，并提供数据流输入与输出操作；
Flink跨集群访问Kerberos认证的Kafka
weixin_44088852的博客
09-06 346
该模块用来构建全局的loginUser。如果其他组件能使用改loginUser进行认证，则不需要单独配置证书。Flink提供三个模块来对集群进行安全验证，分别是HadoopModule、jaasModule、ZookeeperModule。hadoopModule用来对使用UserGroupInformation进行身份验证的框架进行认证配置。Flink组件启动时，先加载认证相关模块。在构建的安全上下文中，启动集群各个组件。根据构建的UserGroupInformation在doAs方法中启动集群。
Java代码：使用flink消费kafka消息代码示例
学亮编程手记
08-31 755
总体而言，该示例代码使用 Kafka 客户端库创建一个 Kafka 生产者，并循环发送随机选择的单词和 UUID 到 Kafka 主题。这段代码是一个简单的 Kafka Flink 消费者示例。它使用 Apache Flink 框架来消费 Kafka 中的消息，并对消息进行处理和统计。综上所述，该配置文件定义了一个将日志输出到系统标准输出的输出器，并设置了输出的格式和级别。总体而言，该示例代码使用 Flink 框架消费 Kafka 消息，并对消息进行单词拆分、计数和打印输出的简单处理。
Kerberos安全认证-连载12-Kafka Kerberos安全配置及访问
qq_32020645的博客
06-22 4093
技术连载系列，前面内容请参考前面连载11内容:​​​​​​​​​​​​​​Kafka也支持通过Kerberos进行认证，避免非法用户操作读取Kafka中的数据，对Kafka进行Kerberos认证可以按照如下步骤实现。在kerberos服务端node1节点执行如下命令将Kafka服务主体写入到keytab文件。
Kafka与Flink深度集成：从安装配置到实战教程
本文档详细介绍了如何在大数据项目实战中实现Kafka与Apache Flink的连接，包括了从安装配置到实际操作的完整流程。首先，我们关注的是Kafka的安装和配置： 1. Kafka安装：文档建议使用自带版本，这通常意味着官方...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值