【解决】org.apache.hadoop.yarn.exceptions.YarnRuntimeException:创建完成目录时出错

场景还原:

HDFS目录出现错误,导致yarn无法启动,报错如下:

`org.apache.hadoop.yarn.exceptions.YarnRuntimeException:创建完成目录时出错:[hdfs://hadoop102.domain:8020 / user / >history / done]
在org.apache.hadoop.mapreduce.v2.hs.HistoryFileManager.tryCreatingHistoryDirs(HistoryFileManager.java:696)
在org.apache.hadoop.mapreduce.v2.hs.HistoryFileManager.createHistoryDirs(HistoryFileManager.java:630)
在org.apache.hadoop.mapreduce.v2.hs.HistoryFileManager.serviceInit(HistoryFileManager.java:591)
在org.apache.hadoop.service.AbstractService.init(AbstractService.java:164)
在org.apache.hadoop.mapreduce.v2.hs.JobHistory.serviceInit(JobHistory.java:97)
在org.apache.hadoop.service.AbstractService.init(AbstractService.java:164)
在org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:108)
在org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer.serviceInit(JobHistoryServer.java:150)
在org.apache.hadoop.service.AbstractService.init(AbstractService.java:164)
在org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer.launchJobHistoryServer(JobHistoryServer.java:226)
在org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer.main(JobHistoryServer.java:236)

原因:org.apache.hadoop.security.AccessControlException:权限被拒绝。user = mapred不是inode = / user / history / done的所有者

在org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkOwner(FSPermissionChecker.java:303)
在org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:270)
在org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:194)
在org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1855)
在org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1839)
在org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkOwner(FSDirectory.java:1784)
在org.apache.hadoop.hdfs.server.namenode.FSDirAttrOp.setPermission(FSDirAttrOp.java:64)
在org.apache.hadoop.hdfs.server.namenode.FSNamesystem.setPermission(FSNamesystem.java:1861)
在org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.setPermission(NameNodeRpcServer.java:856)
在org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.setPermission(ClientNamenodeProtocolServerSideTranslatorPB.java:509)
在org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos $ ClientNamenodeProtocol $ 2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
在org.apache.hadoop.ipc.ProtobufRpcEngine $ Server $ ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:523)
在org.apache.hadoop.ipc.RPC $ Server.call(RPC.java:991)
在org.apache.hadoop.ipc.Server $ RpcCall.run(Server.java:869)
在org.apache.hadoop.ipc.Server $ RpcCall.run(Server.java:815)
在java.security.AccessController.doPrivileged(本机方法)
在javax.security.auth.Subject.doAs(Subject.java:422)
在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875)
在org.apache.hadoop.ipc.Server $ Handler.run(Server.java:2675)`

原因分析及解决办法

这个问题出现的原因就是我用root的用户对mapred用户的文件夹进行访问,结果权限不够。在这里插入图片描述

解决办法

将权限修改一下就可以了,如上图所示:

sudo -u mapred hadoop fs -chmod -R 777 /user/history/done/2020

权限可以使用后,将done文件夹删除,重启yarn即可,CDH环境下

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值