spark建表报错

最新推荐文章于 2023-02-23 20:11:01 发布

HoneyYHQ9988

最新推荐文章于 2023-02-23 20:11:01 发布

阅读量692

点赞数

分类专栏： Hadoop 文章标签： spark

本文链接：https://blog.csdn.net/HoneyYHQ9988/article/details/101455334

版权

Hadoop 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

在spark主机上，用以下命令进入

/usr/dp/current/spark-client/bin/beeline -u jdbc:hive2://paas-test-storm-001.domain:10015

执行建表语句报错如下：
在这里插入图片描述

Error: org.apache.spark.sql.execution.QueryExecutionException: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:java.security.AccessControlException: Permission denied: user=hive, access=WRITE, inode="/user/test/original":storm:hdfs:drwxr-xr-x
        at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:353)
        at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:252)
        at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:190)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1950)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1934)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPathAccess(FSDirectory.java:1908)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAccess(FSNamesystem.java:8800)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.checkAccess(NameNodeRpcServer.java:2089)
        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.checkAccess(ClientNamenodeProtocolServerSideTranslatorPB.java:1466)
        at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:640)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:982)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2351)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2347)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1869)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2347)
) (state=,code=0)

查找了半天，找到原因是：hadoop上的hdfs路径的用户hdfs用户
在这里插入图片描述
而我用的登录命令是：/usr/dp/current/spark-client/bin/beeline -u jdbc:hive2://paas-test-storm-001.domain:10015，它的默认进入用户是hive用户，而hive用户时没有权限进入hdfs下的/user路径，所以报错。所以可以用以下方式进入：
1、主机用户是hdfs
2、使用hive命令进入spark
3、执行新建表sql，则能正常建表不报错了
在这里插入图片描述
因为直接用hive命令进入spark，默认的用户是主机当前用户即hdfs用户登录的spark，所以有权限不报错了。