HDFS 通过MR或IO流操作时 kerberos认证配置一切正确缺认证异常失败，往往忽悠了一个很重要的问题。

最新推荐文章于 2024-04-21 23:13:45 发布
VIP文章 最新推荐文章于 2024-04-21 23:13:45 发布
阅读量5.8k 收藏 4
点赞数
分类专栏： 大数据 hadoop kerberos 文章标签： hadoop kerberos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tcmiku/article/details/90371941
版权

19/05/20 11:09:25 WARN ipc.Client: Exception encountered while connecting to the server : org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS]
19/05/20 11:09:25 WARN ipc.Client: Exception encountered while connecting to the server : org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS]
19/05/20 11:09:25 INFO retry.RetryInvocationHandler: java.io.IOException: DestHost:destPort XXXXXXXXXX:8020 , LocalHost:localPort XXXXXXXXXX:0. Failed on local exception: java.io.IOException: org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS], while invoking ClientNamenodeProtocolTranslatorPB.getFileInfo over XXXXXXXXXX:8020 after 1 failover attempts. Trying to failover after sleeping for 598ms.
19/05/20 11:09:26 WARN ipc.Client: Exception encountered while connecting to the server : org.apache.hadoop.security.AccessControlException: Client can

最低0.47元/天 解锁文章
tcmiku
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
gulpur:用 ES.next 吞下
07-06
咕噜咕噜 与 ，使用 gulpur友好的 gulpfile: var gulp = require ( 'gulp' ) ; var header = require ( 'gulp-header' ) ; var { license } = require ( './package.json' ) ; var banner = `\ /*! * example.js * Licensed under ${ license } */` ; gulp . task ( 'script' , ( ) => { gulp . src ( [ 'src/*.js' ] ) . pipe ( header ( banner ) ) . pipe ( gulp . dest ( 'lib' ) ) ; } ) ; 通常的 gulpfile： var gulp =
【FLinlk】Flink小坑之kerberos动态认证
九师兄
06-09 4039
1.概述 转载并且补充：Flink小坑之kerberos动态认证 2.官网 这段内容摘抄自官网：Kerberos Authentication Setup and Configuration 配置：Kerberos-based Authentication / Authorization Flink 通过 Kafka 连接器提供了一流的支持，可以对 Kerberos 配置的 Kafka 安装进行身份验证。只需在 flink-conf.yaml 中配置 Flink。像这样为 Kafka 启用 Kerbero
HDFS设置权限
m0_63086929的博客
08-15 270
这里搞了好久发现是hdfs没有写入的权限，然后我是用下面命令发现没有权限使用使用sudo也不行。这里是发现Namenode处于安全模式需要先进行取消安全模式。
安全认证Kerberos详解
Shawn的个人博客
04-16 334
Kerberos是一种计算机网络认证协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。
hadoop 使用 kerberos 认证后，hadoop fs -ls 命令、hdfs dfs -ls 无法使用
u011307484的博客
02-05 5320
解决启用 kerberos 认证的 hdfs 集群 遇到的无法使用hadoop、hdfs命令的问题
启动集群发现有些进程正常无法启动
zaijainruqiu的博客
09-13 1157
对等体连接重复,确信之前的集群可以正常启动运行,且自己没有修改任何配置文件。解决:将多余的文件删除 保证磁盘空间有剩余就可以了 之后再启动集群正常。df命令查看磁盘使用情况 发现磁盘满了 问同事 同事说他做的。查看未启动的进程 kafka和zookeeper。去到kafka中查看配置文件。
hadoop kerberos java客户端报错
upupfeng的博客
12-15 5577
背景 使用hadoop java客户端访问带有kerberos认证的hadoop集群时，出现了Exception encountered while connecting to the server : org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS]的错误。 输出日志 [WARN ] 2020-12-15 15:04:35,904 org.apache.h
【kerberos】org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN,
Mrerlou的博客
02-16 1529
在用SUSE 操作系统安装 CM 大数据平台，在集群开启 kerberos 后，使用 HDFS 命令报错如下： 环境信息 SUSE Linux Enterprise Server 12 Service Pack 1 (SLES 12 SP5) 仔细看，在使用 klist 命令时，有个 他指向的路径是： 而在执行 命令时，有个 他指向的路径是 默认是去 目录下找 缓存。然后 SUSE 操作系统下 并不是放在 目录下，导致 客户端认为你没有进行 认证。所以报错。在中，我们增加了下面的参数以后
hadoop集成kerberos后，报org.apache.hadoop.security.AccessControlException
帆了个帆的专栏
05-29 7369
报错信息： [root@hadoop001 qun]# hdfs dfs -ls / 19/05/29 18:06:15 WARN ipc.Client: Exception encountered while connecting to the server : org.apache.hadoop.security.AccessControlException: Client cannot au...
hive java.lang.OutOfMemoryError: Java heap space
04-09 3425
hive 开启了hiveServer2服务，连接了一段时间就拒绝连接，hive日志报错如下： Exception in thread "org.apache.hadoop.hive.common.JvmPauseMonitor$Monitor@56b9d43f" java.lang.OutOfMemoryError: Java heap space Exception in thread "Tri...
python3.6.5基于kerberos认证的hive和hdfs连接调用方式
09-16
主要介绍了python3.6.5基于kerberos认证的hive和hdfs连接调用方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
【HDFS篇05】HDFS客户端操作 --- IO流操作 1
08-04
1.下载第一块文件数据【文件如果过大就会分块存储，所以需要分块 2.下载第二块文件数据 3.合并两块文件
Hadoop部署和配置Kerberos安全认证
05-17
Hadoop部署和配置Kerberos安全认证全套流程。已经过实测并部署与生产环境。
为hdfs配置kerberos
10-27
本文档记录了为hadoop的hdfs配置kerberos的过程，hadoop用的版本是2.4.1。其中有一些作者的个人经验，希望对读者有帮助。
【Hadoop】- MapReduce & YARN 初体验[9]
weixin_63106307的博客
04-21 1431
1、Hadoop自带的MapReduce示例程序的代码jar包是2、使用什么命令提交MapReduce程序到YARN中执行？hadoop jar 命令语法：hadoop jar 程序文件 java类名 [程序参数] ..... [程序参数]3、如何查看程序运行状态在YARN WEB页面查看。
Hadoop1X，Hadoop2X和hadoop3X有很大的区别么？
大数据星球-浪尖
04-20 479
Hadoop的演进从Hadoop 1到Hadoop 3主要是为了提供更高的效率、更好的资源管理、更高的可靠性以及对更多数据处理方式的支持。下面是Hadoop 1, Hadoop 2, 和 Hadoop 3之间的主要区别和演进的原因：Hadoop 1特点：主要包括两大核心组件：HDFS（Hadoop Distributed File System）和MapReduce。Hadoop 1的资源管理和作...
2021数学建模美赛C题代码.zip
04-24
最全的数学建模美赛C题和代码、大量刷题题库、逻辑清晰易于学习
这是一个保存Springboot+MyBaits项目的仓库.zip
最新发布
04-24
springboot框架 一、Spring Boot基础应用 Spring Boot特征 概念： 约定优于配置，简单来说就是你所期待的配置与约定的配置一致，那么就可以不做任何配置，约定不符合期待时才需要对约定进行替换配置。 特征： 1. SpringBoot Starter：他将常用的依赖分组进行了整合，将其合并到一个依赖中，这样就可以一次性添加到项目的Maven或Gradle构建中。 2,使编码变得简单，SpringBoot采用 JavaConfig的方式对Spring进行配置，并且提供了大量的注解，极大的提高了工作效率，比如@Configuration和@bean注解结合，基于@Configuration完成类扫描，基于@bean注解把返回值注入IOC容器。 3.自动配置：SpringBoot的自动配置特性利用了Spring对条件化配置的支持，合理地推测应用所需的bean并自动化配置他们。 4.使部署变得简单，SpringBoot内置了三种Servlet容器，Tomcat，Jetty,undertow.我们只需要一个Java的运行环境就可以跑SpringBoot的项目了
课设&大作业-毕业设计精品课程网站，采用的技术是 SSM 框架和 Shiro.zip
04-24
【资源说明】【毕业设计】 1、该资源内项目代码都是经过测试运行成功，功能正常的情况下才上传的，请放心下载使用。 2、适用人群：主要针对计算机相关专业(如计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网、数学、电子信息等)的同学或企业员工下载使用，具有较高的学习借鉴价值。 3、不仅适合小白学习实战练习，也可作为大作业、课程设计、毕设项目、初期项目立项演示等，欢迎下载，互相学习，共同进步！
spark-sql 操作 hdfs文件，服务器有kerberos安全认证的
06-28
如果您的服务器有kerberos安全认证，那么在使用spark-sql操作hdfs文件时，需要进行以下步骤： 1. 配置kerberos认证信息：在spark的配置文件中，需要配置kerberos认证信息，包括krb5.conf文件路径、keytab文件路径、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值