hadoop token过期问题

最新推荐文章于 2023-03-15 16:27:00 发布
最新推荐文章于 2023-03-15 16:27:00 发布
阅读量4.3k 收藏 3
点赞数
分类专栏： hadoop 大数据 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010170616/article/details/80858259
版权
本文讨论了Hadoop中token过期的问题，引用了Apache JIRA和GitHub上的相关issue，并提供了两种解决方案：一是通过定期执行kinit或监控程序重新拉起，二是关闭HDFS文件系统的缓存机制。同时，还提到了HDFS小文件问题，并链接到相关文章阐述解决方案。
摘要由CSDN通过智能技术生成
1、Token 过期问题 

Failed to Update HDFS Delegation Token for long running application in HA mode

参见 

https://issues.apache.org/jira/browse/HDFS-9276 

https://github.com/apache/spark/pull/9168


错误信息：
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.token.SecretManager$InvalidToken): token (HDFS_DELEGATION_TOKEN token 953 for gahw) is expired

这是个HDFS-9276 的 Bug.

http://mkuthan.github.io/blog/2016/09/30/spark-streaming-on-yarn/

https://stackoverflow.com/questions/39540110/hdfs-delegation-token-expired-even-after-adding-principle-to-command-line

https://issues.apache.org/jira/browse/SPARK-8688

影响版本：Hadoop 2.7.1

解决方法：


PS:
当在代码里进行kerberos认证的话，使用--principal $principal --k

最低0.47元/天 解锁文章
今天摸鱼了吗
关注
专栏目录
【Flink】Unauthorized request to start container. This token is expired. current time is
九师兄
11-24 720
该异常在 Flink AM 向 YARN NM 申请启动 token 已超时的 Container 时抛出，通常原因是 Flink AM 从 YARN RM 收到这个 Container 很久之后（超过了 Container有效时间，默认 10 分钟，该 Container 已经被释放）才去启动它，进一步原因是 Flink 内部在收到 YARN RM 返回的 Container 资源后串行启动。建议内部部署ntp或者chrony作为时间同步服务器，或客户有自己的时间同步服务器进行节点间时间同步。
Hadoop安全机制探究
初心江湖路的博客
12-27 648
一、可能的安全问题 1、如果Hadoop服务不对用户或者服务进行认证，那么可能发生什么安全问题？ HDFS文件权限检查被规避 攻击者可以伪装服务，对集群进行攻击 2、因为只需要BlockId即可读取节点的数据，而DataNode不强制对任何访问请求做访问控制。那么，任何人都可以随意的访问和读写HDFS数据，这样就存在安全隐患。 二、Apache Hadoop安全团队使用的安全机制 基于Kerbe...
记一次HDFS Delegation Token失效问题
迹_Jason
01-17 5543
由于我们团队是最近上的 Kerberos ，免不了会出现一些问题，现阶段还处于踩坑阶段。希望通过我们的填坑的经历，帮助到同样身处坑内的伙伴。我们使用的 Hortonworks-HDP 环境。 HDFS Delegation Token 问题被发现于一个 Long Running 的 Spark 应用。由于发布周期原因，部分应用超过了 7 天的有效期时间，突然在同一时间，爆发出来。当时觉得很诡异，在...
ERROR org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: RECEIVED SIGNAL 15: SIGTERM
蔡先生的专栏
03-17 3万+
重新搭建Hadoop集群，一切配置就绪后，启动集群后，在Master和所有的Slave节点上通过JPS命令都可以看到集群应该启动的进程都已经启动了。通过50070端口也可以查看到所有DataNode处于Live状态，而且可以正常往HDFS上传下载文件。 但是在8088端口查看不到任何Nodes的信息，提交任务到集群，任务一直卡在Accepted状态。 通过查看日志发现提示如下错误： 2016
Spark性能优化合理设置并行度
ZMC921的博客
05-11 5286
1 Hadoop文件和block的关系，split与block的关系，一个map对应一个split分片吗？1.1 Hadoop文件和block的关系    在介绍hadoop写文件的时候我们经常会说首先分割文件为多个块；那么是怎么分割的呢？这里其实不要有过的纠结，这里的块是block，是hdfs中切块的大小，属于物理划分，默认128M，在hadoop-default.xml配置中有体现，也可以修改...
Spark hadoop票据过期问题HDFS_DELEGATION_TOKEN
mlwise的专栏
02-18 1993
问题描述： Spark streaming应用运行7天之后，自动退出，日志显示token for xxx(用户名): HDFS_DELEGATION_TOKEN owner=xxxx@xxxx.com, renewer=yarn, realUser=, issueDate=1581323654722, maxDate=1581928454722, sequenceNumber=6445344, m...
聊聊Hadoop安全认证体系：Delegation Token和Block Access Token
走在前往架构师的路上
11-29 3453
前言 本文继续上一篇Hadoop安全认证方面的内容主题，来简单聊聊Hadoop内部的其它认证体系：Delegation Token（授权令牌认证）和Block Access Token（块访问认证）。主要来聊聊这两者间的差异，顺带也会提及一些Kerberos认证的一点内容。这里不深挖其中的技术细节，整体阐述会比较简单，明了。 Kerberos认证 Kerberos认证是业界较为成熟的一种认证体...
长时间运行的spark-streaming程序自动退出的问题
bottle123的专栏
01-05 5539
spark-streaming程序以yarn-client的方式运行了一段时间后，就退出了，但driver还在，yarn日志如下： 15/09/19 14:32:34 ERROR util.Utils: Uncaught exception in thread Thread-1 org.apache.hadoop.security.token.SecretManager$InvalidToke
Sparkthrift Server 启动命令调优及问题报错解决
最新发布
weixin_42151880的博客
03-15 2297
文章目录1、sparkthrift Server 启动命令2、实际生产过程中的报错解决2.1、Kryo serialization failed: Buffer overflow. Available: 0, required: 2428400. To avoid this, increase spark.kryoserializer.buffer.max value2.2、java.lang.OutOfMemoryError: GC overhead limit exceeded2.3、Job abort
解决无效token的方法
HuangJunJun的博客
06-08 5万+
解决无效token的方法 在调用API接口时遇到了无效token的问题，网上搜了一大圈还以为是token时效的问题，最后发现是给需要授权的 API ，必须在请求头中使用Authorization 字段提供 token 令牌。 需要在main.js文件里添加axios拦截器 axios.interceptors.request.use(config => { console.log(config); config.headers.Authorization = window.sessionSt
成功解决 SyntaxError: invalid token
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
05-26 7万+
成功解决 SyntaxError: invalid token 目录 解决问题 解决思路 解决方法 解决问题 SyntaxError: invalid token 解决思路 语法错误：标记无效 解决方法 语法错误：无效令牌，故导入的包或模块不符合程序命名要求，如python的模块包不能以数字开头命名 ...
Hadoop分析日志实例的详细步骤及出现的问题分析和解决
wuzhilon88的专栏
01-08 8629
1). 日志格式分析 首先分析 Hadoop 的日志格式, 日志是一行一条, 日志格式可以依次描述为:日期、时间、级别、相关类和提示信息。如下所示: 2014-01-07 00:31:25,393 INFO org.apache.hadoop.mapred.JobTracker: SHUTDOWN_MSG:  /****************************************
Kyuubi1.4.0集成spark3.2.0
qq_40367999的博客
05-31 1652
kyuubi集成spark3.2.0 文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决.
大数据开发过程中遇到的问题
warm_day的博客
03-01 5395
1.由于内存不够引起 在linux下执行top命令查看各进程使用内存情况 如果发现没有进程耗费太大的内存 查看空闲内存：free -m 发现空闲内存所剩无几： buffers与cached占用了将近一半的内存 什么是buffer/cache？ buffer和cache是两个在计算机技术中被用滥的名词，放在不通语境下会有不同的意义。在Linux的内存管理中，这里的buffer指L...
access control error while attempting to set up short-circuit
chenla5762的博客
11-22 1509
due to InvalidToken exception. org.apache.hadoop.security.token.SecretManager$InvalidToken: access control error while attempting to set up short-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值