AccessControlException: Permission denied: user=Administrator, access=WRITE, inode=“/user/out1/_temp

最新推荐文章于 2024-05-20 17:49:59 发布

落花流水i

最新推荐文章于 2024-05-20 17:49:59 发布

阅读量1.5k

点赞数 3

分类专栏： spark

本文链接：https://blog.csdn.net/weixin_44080445/article/details/115974528

版权

spark 专栏收录该内容

7 篇文章 1 订阅

订阅专栏

报错信息

Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="/user/out1/_temporary/0":root:supergroup:drwxr-xr-x
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:319)
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:292)
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:213)
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:190)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1720)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1704)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:1687)
	at org.apache.hadoop.hdfs.server.namenode.FSDirMkdirOp.mkdirs(FSDirMkdirOp.java:71)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:3894)
	at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:983)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:622)
	at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:616)

最近在进行数据处理时,将spark处理好的数据传HDFS时报了上述的权限异常，定位到具体的原因可以看到权限拒绝。

在这里插入图片描述

解决办法有如下几种：
1.因为报错日志中有Permission denied: user=Administrator,所以应该是程序认为我们当前是Administrator用户,所以在代码中添加下面一行System.setProperty(“HADOOP_USER_NAME”,“root”)
（ps:本人在eclipse中加入这个代码就可以存到HDFS中,但是在IDEA中就不行,具体原因不详）

2.默认情况下HDFS的文件是755，我们可以手动的将你要上传的那个目录权限改为777,如下图所示(此种办法立竿见影)。

hadoop fs -chmod 777 这里填你要改的HDFS文件路径.

在这里插入图片描述