【Flink】FLink session yarn kerberos认证报错 KrbException: Cannot locate default realm

最新推荐文章于 2024-06-29 06:00:00 发布
最新推荐文章于 2024-06-29 06:00:00 发布
阅读量2k 收藏 1
点赞数 2
分类专栏： 大数据-flink 文章标签： flink jvm java
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/125988548
版权
本文介绍了在对接华为YARN集群运行Flink任务时遇到的Kerberos认证问题。在预提交作业模式下认证成功，但在Session模式下出现`KrbException: Cannot locate default realm`错误。通过对比日志和调整配置，最终发现需通过Flink配置文件`flink-conf.yaml`设置JVM参数来解决此问题，从而使得Session模式的任务也能正常运行。
摘要由CSDN通过智能技术生成

文章目录

在这里插入图片描述

1.概述

因为项目需要，我们需要对接华为认证的yarn集群，运行flink任务，我们的任务分为两种，yarn pre-job模式和flink session模式。我们在配置文件中配置如下

[root@1 flink]# cat conf/flink-conf.yaml 

# kerberos认证需要的东西
security.kerberos.login.use
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
【Flink】FLink session yarn kerberos认证报错 PortUnreachableException: ICMP Port Unreachable
九师兄
05-01 839
本篇博客是在上一篇博客：【Flink】FLink session yarn kerberos认证报错 KrbException: Cannot locate default realm还没找到原因的时候做的一次尝试。因为项目需要，我们需要对接华为认证的yarn集群，运行flink任务，我们的任务分为两种，yarn pre-job模式和flink session模式。我们在配置文件中配置如下# kerberos认证需要的东西提交任务的脚本如下。
java实现flink订阅Kerberos认证的Kafka消息示例源码
04-16
java实现flink订阅Kerberos认证的Kafka消息源码
org.apache.kafka.common.KafkaException: Failed to construct kafka producer
m0_60725291的博客
08-05 3679
详情： org.apache.kafka.common.KafkaException: Failed to construct kafka producer Caused by: org.apache.kafka.common.KafkaException: javax.security.auth.login.LoginException: Cannot locate default realm Caused by: javax.security.auth.login.LoginException: C
已解决javax.security.auth.login.LoginException：登录失败的正确解决方法，亲测有效！！！
最新发布
小明的Java问道之路
06-29 1406
已解决javax.security.auth.login.LoginException：登录失败的正确解决方法，亲测有效！！！
KrbException: Generic error (description in e-text) (60) - Unable to locate Kerberos realm
wk022的专栏
03-21 1万+
最近在windows上编写访问Hbase（使用kerberos）的时候遇到了一下异常： Exception in thread "main" java.lang.IllegalArgumentException: Can't get Kerberos realm at org.apache.hadoop.security.HadoopKerberosName.setConfiguration(
kerberos mysql配置_mysql到HDFS,kerberos配置报错 Can't get Kerberos realm
weixin_30985047的博客
02-01 2906
报错日志如下，麻烦解惑2018-07-10 08:10:13.144 [main] INFO VMInfo - VMInfo# operatingSystem class => sun.management.OperatingSystemImpl2018-07-10 08:10:13.161 [main] INFO Engine - the machine info =>osIn...
解决Unable to locate Kerberos realm
weixin_34121304的博客
05-05 1553
在windows环境下 将服务器上的/etc/krb5.conf 复制到<jdk-home>/jre/lib/security  
troubleshooting-windows 在 CDH集群环境读取 Hive 表 KrbException: Cannot locate default realm
dianjun2454的博客
09-23 1万+
KrbException: Cannot locate default realm 解决办法 1）拷贝需要组件的配置文件到项目中的 /resources/目录。如hadoop，目录/etc/hadoop/conf/ 2）代码中写入如下代码 System.setProperty("java.security.krb5.conf", "D:\\work\\conf\\k...
异常解决:java.lang.IllegalArgumentException: Can't get Kerberos realm
热门推荐
BlackC16的博客
03-01 2万+
问题描述:java连接hbase通过kerberos认证过程中,出现异常java.lang.IllegalArgumentException: Can't get Kerberos realm,具体异常的原因为Caused by: KrbException: Cannot locate default realm 解决过程: 项目环境:使用的是jdk1.8,hadoop-commo...
2021-09-30 cannot locate default realm
weixin_41065318的博客
09-30 7165
踩坑记录一下，annot locate default realm 读取k5rb.conf出错，排查了半天最后是路径没有权限。天坑
java.io.IOException: Couldn‘t set up IO streams: java.lang.IllegalArgumentException: KrbException
jzy3711的博客
12-21 3622
现象 datanode 运行一段时间后，先stale，最后dead 报错 查看datanode日志： 2021-12-18 07:36:09,868 ERROR datanode.DataNode (DataXceiver.java:writeBlock(869)) - DataNode{data=FSDataset{dirpath='[/data01/hadoop/hdfs/data, /data02/hadoop/hdfs/data, /data03/hadoop/hdfs/data, /data04/
解决Caused by: sun.security.krb5.KrbException: Cannot locate KDC问题
undefined的博客
11-11 1万+
背景：在开发hadoop底层相关管理服务的时候，在调试hive相关操作时出现，认证不通过，连接不是hive客户端 问题：解决Caused by: sun.security.krb5.KrbException: Cannot locate KDC问题 1、可以在你部署的机器 执行以下的命令进行校验 kinit -kt hive.keytab hive/nm-304-sa5212m4-bigdata-665@HADOOP.SANDBOX.CHINATELECOM.CN 2、如果提示命令未识别 需要安装krb.
【Flink】Flink kerberos 认证报错 while accessing user/group information via Hadoop utils
九师兄
11-03 971
flink认证报错和 错误整体是这样的，我FLink 消费kafka 写入 Es ，组件使用了 hadoop ,zk,es,kafka 都有kerberos认证，然后这个环境原本是认证成功的，然后现在哟啊关闭kafka kerberos认证了。我写了一个配置 是的时候 执行提交脚本的时候是带 kerberos参数的 但是我们这个环境变动了原先说好的 kafka是必须开启kerberos的 但是最近下游人家对接kafka总是卡 特别麻烦 然后他们又决定不开kafka了。
【Flink】Flink yarn 下报错ClassNotFoundException: org.apache.hadoop.yarn.api.ApplicationConstants$Environ
九师兄
08-29 1407
flink启动日志报错如下 flink 在yarn上的日志报错如下 最后结局原因如下参考建议确保 Flink 版本与 YARN 版本兼容。不同的 Flink 版本可能需要不同版本的 YARN。请确保你使用的 Flink 版本与你的 YARN 版本兼容。检查环境和类路径设置。确保在运行 Flink 任务之前，所有必需的依赖项包括 YARN 和 Hadoop 相关的类库都正确地配置在类路径中。检查 Flink 的 flink-yarn_*.jar 文件是否正确下载并部署。这个文件包含了 Flink 与 YARN
HBase 实战中遇到的坑
刘莹慧的专栏
01-20 1万+
问题一 ： HTable.backgroundFlushCommits; HTable.flushCommits; HTable.close; 解决方案 ,对同一个表进行的操作 htable = new HTable(config, "CRM_MEMBER_ALL");中的config 要每次都new一个新的出来，不能用同一个，不然会报错! 问题二 :
javax.security.auth.login
BLOG域名:programb.blog.csdn.net
05-12 1241
This package provides a pluggable authentication framework. Package Specification Java™ Cryptography Architecture Standard Algorithm Name Documentation Exceptions LoginException This is the basic login exception.
javax.security.auth.login.LoginException: Error during resolve 异常
weixin_30572613的博客
08-07 2235
登陆TIM时本地抛此异常，测试环境正常 需要重启测试环境机器以后，本地才可以登陆成功 求大神帮忙解决： INFO: Client code attempting to load security configuration2015-10-30 17:12:46,082 INFO util.tim.TimConnector:177 -> com.ibm.itim.apps.Initi...
java.sercurity.auth.login.LoginException:Checksum failed / KrbException: Checksum failed
zsyoung的博客
08-19 6677
现象： java.sercurity.auth.login.LoginException:Checksum failed KrbException: Checksum failed 可能的原因： 没有用帐号登录： kinit -k -t nn.keytab nn/node-107 kinit nn/node-107 启用Kerberos后，如果没有kerberos票证，则无法访问HDFS ...
安装python flink时候报错ModuleNotFoundError: No module named 'distutils'
02-22
安装Python Flink时报错"ModuleNotFoundError: No module named 'disutils'"是因为缺少distutils模块。distutils是Python的标准库之一，用于构建和安装Python模块。 要解决这个问题，你可以按照以下步骤进行操作： 1. 确保你已经正确安装了Python。你可以在命令行中输入`python --version`来检查Python的版本。 2. 如果你使用的是Python 2.x版本，那么distutils应该已经包含在Python的标准库中，无需额外安装。 3. 如果你使用的是Python 3.x版本，并且在安装Python时选择了"Minimize disk space usage"选项，那么distutils模块可能没有被安装。你可以尝试重新安装Python，并选择"Full installation"选项来确保distutils被正确安装。 4. 如果以上方法都无效，你可以尝试手动安装distutils模块。首先，下载distutils的安装包（通常是一个压缩文件），然后解压缩并进入解压后的目录。在命令行中运行以下命令进行安装： ``` python setup.py install ``` 这将会安装distutils模块到你的Python环境中。 如果你还有其他问题，请继续提问。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值