org.apache.hadoop.security.AccessControlException: Permission denied

在测试往hive表中插入数据时报以下权限问题:

org.apache.hadoop.security.AccessControlException: Permission denied: user=hive, access=WRITE, inode="/app/.../test_table/_SUCCESS":Administrator:hadoop:-rw-r--r--
    at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:353)
    at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:252)
    at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:190)
    at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1950)
    at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1934)
    at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPathAccess(FSDirectory.java:1908)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInternal(FSNamesystem.java:2761)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInt(FSNamesystem.java:2702)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFile(FSNamesystem.java:2586)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.create(NameNodeRpcServer.java:736)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.create(ClientNamenodeProtocolServerSideTranslatorPB.java:409)
    at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:640)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:982)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2351)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2347)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1869)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2347)

(读写时遇到读写问题一定要仔细阅读报错信息,可能解决方法甚至出现问题的原因都可以从日志中获取到)

上面的日志信息说明在访问inode节点的数据文件时权限受限(我这里是访问hive数仓报的权限问题),然后在仔细看日志信息可以看到hive账户有写权限,但是当前访问的账户是Administrator。Administrator账户一般是windows的默认账户名,所以我的情况是本地起的程序默认账户是Administrator,所以不能去写hdfs文件系统中需要hive账户才能操作的文件。这里解决思路有两个,一个是修改hdfs文件系统中该文件的访问账户限制。另一个则是清空指定路径下的所有文件(即变相的清空表中数据,但比清空表数据更彻底)。这样无论什么账户在指定的路径下都可以重新生成文件。因为表中数据是测试数据,我采用了第二种方式,直接删除了指定路径下的所有文件。这样本地测试就可以了。
(第二种解决方式还有一个弊端,就是再用hive账户增删改表中数据时又会报权限问题,这个时候还得再删一遍,因为这个时候的数据文件默认账户是Administrator)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值