【Flink】Flink kerberos 认证报错 while accessing user/group information via Hadoop utils

已于 2022-11-03 20:23:07 修改
阅读量980 收藏
点赞数
分类专栏： 大数据-flink 文章标签： hadoop flink kafka
于 2022-11-03 20:22:44 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/125073884
版权
本文描述了在Flink消费Kafka并写入Es的过程中遇到的Kerberos认证问题。当尝试关闭Kafka的Kerberos认证时，尽管其他组件如HDFS、Zookeeper和Es认证正常，但Flink仍然报错。经过检查Jaas文件、参数配置以及源码分析，发现错误提示指向HDFS认证失败。最终解决方案是使用特定的提交脚本，确保所有认证参数正确设置。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

flink认证报错 error while accessing user/group information via Hadoop utils 和 错误 Cannot locate default realm

整体是这样的，我FLink 消费kafka 写入 Es ，组件使用了 hadoop ,zk,es,kafka 都有kerberos认证，然后这个环境原本是认证成功的，然后现在哟啊关闭kafka kerberos认证了。

我写了一个配置 是 kafka.kerberos.enable=true 的时候 执行提交脚本的时候是带 kerberos参数的 但是我们这个环境变动了

原先说好的 kafka是必须开启kerberos的 但是最近下游人家对接kafka总是卡 特别麻烦 然后他们又决定不开kafka了

# 是否开启kafka的kerberos的认证

kafka.kerberos.enable
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【Flink】Flink 源码之 安全认证 kerberos 认证
九师兄
01-16 4253
1.概述 这篇文章转载：Flink 源码之 安全认证 非常巧合的是，我上周用了2-4天才完成flink安全认证，还是没有搜过，任何安全相关的代码，完成了。结果今天就看到了。 本篇分析下Flink安全认证部分的处理方式。主要为Kerberos认证相关内容。下面从配置项开始分析。 2.SecurityConfiguration 此类包含了Flink安全认证相关的配置项。它们的含义如下： zookeeper.sasl.disable：是否启用Zookeeper SASL。 security.kerber.
【FLinlk】Flink小坑之kerberos动态认证
九师兄
06-09 4509
1.概述 转载并且补充：Flink小坑之kerberos动态认证 2.官网 这段内容摘抄自官网：Kerberos Authentication Setup and Configuration 配置：Kerberos-based Authentication / Authorization Flink 通过 Kafka 连接器提供了一流的支持，可以对 Kerberos 配置的 Kafka 安装进行身份验证。只需在 flink-conf.yaml 中配置 Flink。像这样为 Kafka 启用 Kerbero
06、Kerberos安全认证之配置和访问Kerberos安全认证的Kafka集群学习笔记
每个人都是独一无二的，把握好自己的节奏，跟着自己的心走。
07-11 1201
06、Kerberos安全认证之配置和访问Kerberos安全认证的Kafka集群学习笔记
【hadoop】关于ERROR security.UserGroupInformation
热门推荐
moxiaomomo的专栏
01-23 1万+
14/01/23 20:49:47 ERROR security.UserGroupInformation: PriviledgedActionException as:hadoop (auth:SIMPLE) cause:java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBuffe
Flink支持kerberos认证
qq_30529079的博客
12-12 2197
完成flink kafka认证
计算机安全基础：认证技术知识笔记
IT技术分享社区
10-02 680
1、认证技术介绍认证技术主要是用来解决网络通信过程中通信双方身份的认可。认证的过程涉及加密和密钥交换。认证方一般都会有账户名、口令、使用摘要算法和基于PK...
error:  while accessing
xdreamman的博客
04-23 1063
sh-4.1# git clone https://github.com/EthanRosenthal/gpu-streamz.git Initialized empty Git repository in /home/work/workspace/gitrepo/temp/gpu-streamz/.git/ error: while accessing https://github.com/E...
【Flink】Flink on yarn 使用 pre-job模式 提交任务kerberos 认证 源码代码解读
九师兄
11-05 670
想要了解这段代码，还是要从【Flink】Flink kerberos 认证报错 while accessing user/group information via Hadoop utils这个问题开始。Flink小坑之kerberos动态认证，我们配置了如下在客户端的 Flink 配置文件中添加安全相关的配置选项（见这里）。2.确保密钥表文件存在于客户端节点上的指示的路径中3.正常部署 Flink 集群。
flink写入带kerberos认证的kudu connector
03-24
当Flink需要与Kudu交互时，Kerberos认证机制的引入是为了增强系统的安全性，防止未授权的访问。本文将详细介绍如何在Flink中配置和使用带Kerberos认证的Kudu Connector。 ### 1. Kerberos认证简介 Kerberos 是一种...
【Flink】FLink session yarn kerberos认证报错 PortUnreachableException: ICMP Port Unreachable
九师兄
05-01 856
本篇博客是在上一篇博客：【Flink】FLink session yarn kerberos认证报错 KrbException: Cannot locate default realm还没找到原因的时候做的一次尝试。因为项目需要，我们需要对接华为认证的yarn集群，运行flink任务，我们的任务分为两种，yarn pre-job模式和flink session模式。我们在配置文件中配置如下# kerberos认证需要的东西提交任务的脚本如下。
java实现flink订阅Kerberos认证的Kafka消息示例源码
04-16
java实现flink订阅Kerberos认证的Kafka消息源码
Flink在CDH配置部署及读取kafka的实例验证；
05-06
CDH目前不带flink组件，文档为Flink在CDH集群上的配置部署及读取kafka的实例验证；
flink程序设置kerberos认证——专业实用版
ilyomind的博客
02-19 4679
flink程序提交命令 flink run -d -m yarn-cluster \ -yD security.kerberos.login.keytab=/path/your/user.keytab \ -yD security.kerberos.login.principal=your@HADOOP.COM \ -c com.your.class.Name flink on yarn认证原理 将keytab文件自动上传hdfs，由yarn管理，分发给每个executor缓存token，定
Flink on K8s与Hive on CDH Kerberos 认证
weixin_64431102的博客
04-25 981
flink在K8s环境下与Hive ON CDH 的kerberos认证问题。
深度解读flink kerberos认证（含流程图及源码）
阿甘兄
09-13 1052
超详细深度解读flink kerberos认证
hive kerberos 异常
arbalest1080的博客
08-26 287
到集群中运行 表是展示出来的。
深入理解Java GSS（含kerberos认证及在hadoop、flink案例场景举例）
阿甘兄
07-07 1742
深入理解Java GSS，实现kerberos认证的方式，以及在hadoop和flink场景的使用
flink kerberos
dian张
11-13 1628
security.kerberos.login.keytab: /usr/local/keytab/flink/flink.keytab security.kerberos.login.principal: flink/master@AQ.COM security.kerberos.login.contexts: Client,KafkaClient security.kerberos.login...
flink的kerberos认证
最新发布
08-01
Apache Flink 的 Kerberos 认证是一种安全机制，它允许 Flink 集群在 Hadoop 或其他支持 Kerberos 的环境中进行身份验证。Kerberos 是基于密码的身份验证协议，通过可信第三方（称为 Key Distribution Center, KDC）进行用户身份验证。 在 Flink 中启用 Kerberos 认证，通常需要以下几个步骤： 1. **配置环境**： - 安装并配置 Java 对 Kerberos 的支持（即 JCE/JDK 的加密库）。 - 配置 Hadoop 和 ZooKeeper 使用 Kerberos，包括设置 `hadoop.security.authentication` 参数为 `kerberos`。 2. **KDC 设置**： - 创建 Kerberos 用户和服务账户，并将它们添加到适当的域中。 - 配置 KDC 的地址和密钥tab文件 (`krb5.conf`）。 3. **Flink 属性**： - 在 Flink 运行时参数中，设置 `security.kerberos.principal`、`security.kerberos.keytab` 等属性，指明用户的 Kerberos 名称和对应的密钥表文件路径。 - 可能还需要配置 `flink.kubernetes.high-availability.kerberos-principal` 和 `flink.kubernetes.high-availability.kerberos-keytab` 来指定 HA 集群的 Kerberos 身份。 4. **启动 Flink**： 启动 Flink 时，会尝试使用提供的 Kerberos凭据进行身份验证。 由于涉及到的配置较多，确保所有组件之间的通信都已经正确设置了相应的Kerberos权限是关键。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值