kylin cube测试时，报错：org.apache.hadoop.security.AccessControlException: Permission denied: user=root, ac...

最新推荐文章于 2024-04-24 10:25:50 发布
最新推荐文章于 2024-04-24 10:25:50 发布
阅读量253 收藏
点赞数
文章标签： 大数据 java 
异常：
org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
        at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:257)
        at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:238)
        at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:216)
        at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:145)
        at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:138)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6345)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6327)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess(FSNamesystem.java:6279)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:4146)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:4116)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4089)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:821)
        at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.mkdirs(AuthorizationProviderProxyClientProtocol.java:297)
        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:594)
        at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:587)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1026)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2013)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1642)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007)

        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
        at org.apache.hadoop.ipc.RemoteException.instantiateException(RemoteException.java:106)
        at org.apache.hadoop.ipc.RemoteException.unwrapRemoteException(RemoteException.java:73)
        at org.apache.hadoop.hdfs.DFSClient.primitiveMkdir(DFSClient.java:2689)
        at org.apache.hadoop.hdfs.DFSClient.mkdirs(DFSClient.java:2658)
        at org.apache.hadoop.hdfs.DistributedFileSystem$16.doCall(DistributedFileSystem.java:831)
        at org.apache.hadoop.hdfs.DistributedFileSystem$16.doCall(DistributedFileSystem.java:827)
        at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
        at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirsInternal(DistributedFileSystem.java:827)
        at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirs(DistributedFileSystem.java:820)
        at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:133)
        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:435)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1295)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1292)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1642)
        at org.apache.hadoop.mapreduce.Job.submit(Job.java:1292)
        at org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:564)
        at org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:559)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1642)
        at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:559)
        at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:550)
        at org.apache.hadoop.hive.ql.exec.mr.ExecDriver.execute(ExecDriver.java:420)
        at org.apache.hadoop.hive.ql.exec.mr.MapRedTask.execute(MapRedTask.java:139)
        at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:155)
        at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:85)
        at org.apache.hadoop.hive.ql.exec.TaskRunner.run(TaskRunner.java:72)
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
        at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:257)
        at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:238)
        at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:216)
        at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:145)
        at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:138)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6345)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6327)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess(FSNamesystem.java:6279)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:4146)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:4116)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4089)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:821)
        at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.mkdirs(AuthorizationProviderProxyClientProtocol.java:297)
        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:594)
        at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:587)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1026)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2013)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1642)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007)

        at org.apache.hadoop.ipc.Client.call(Client.java:1411)
        at org.apache.hadoop.ipc.Client.call(Client.java:1364)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
        at com.sun.proxy.$Proxy11.mkdirs(Unknown Source)
        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.mkdirs(ClientNamenodeProtocolTranslatorPB.java:531)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
        at com.sun.proxy.$Proxy12.mkdirs(Unknown Source)
        at org.apache.hadoop.hdfs.DFSClient.primitiveMkdir(DFSClient.java:2687)
        ... 26 more
Job Submission failed with exception 'org.apache.hadoop.security.AccessControlException(Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
        at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:257)
        at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:238)
        at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:216)
        at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:145)
        at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:138)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6345)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6327)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess(FSNamesystem.java:6279)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:4146)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:4116)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4089)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:821)
        at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.mkdirs(AuthorizationProviderProxyClientProtocol.java:297)
        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:594)
        at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:587)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1026)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2013)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1642)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007)
)'
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

        at org.apache.kylin.common.util.CliCommandExecutor.execute(CliCommandExecutor.java:92)
        at org.apache.kylin.job.common.ShellExecutable.doWork(ShellExecutable.java:51)
        at org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:114)
        at org.apache.kylin.job.execution.DefaultChainedExecutable.doWork(DefaultChainedExecutable.java:50)
        at org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:114)
        at org.apache.kylin.job.impl.threadpool.DefaultScheduler$JobRunner.run(DefaultScheduler.java:124)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
        at java.lang.Thread.run(Thread.java:745)

　　

解决办法：

配置

dfs.permissions=false

 

weixin_34162401
关注
Kylin报错 Permission denied: user=root, access=WRITE, inode="/user":hdfs:superxxx
杨鑫newlife的专栏
11-26 1653
Kylin启动后，执行 ./bin/sample.sh 脚本 报错如下： Permission denied: user=root, access=WRITE, inode="/user":hdfs:superxxxxx 说明运行当前shell不能写入hdfs目录/user/xxxx。 解决方法是使用root用户 vim /etc/profile 写入 export HADO...
Kylin报错 FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException...
杨鑫newlife的专栏
11-26 688
Kylin接入Hive数据时，报错如下： FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaS...
【已解决】银河麒麟V10操作系统Kylin Linux Advanced Server release V10 (Lance)版本 docker run时报错permission denied
最新发布
一起加油吧
04-24 2629
在新装的麒麟v10操作系统上新部署docker并运行项目的相关docker容器报错出现报错，怎么也跑不起来。
安装Apache Kylin时遇到的问题
wtq1993的博客
11-08 6196
一：当在ubuntu下执行check_env.sh时遇到问题： KYLIN_HOME is set to /usr/local/apache-kylin-1.5.4.1-bin cat: invalid option -- '1' Try 'cat --help' for more information. -mkdir: Not enough arguments: expected 1 but
Kylin执行cube报错：--hiveconf hive.merge.mapredfiles=false --hiveconf hive.auto.convert.join=true
m0_46241543的博客
11-30 152
【代码】Kylin执行cube报错：--hiveconf hive.merge.mapredfiles=false --hiveconf hive.auto.convert.join=true。
启动hive报错java.net.ConnectException: Call From hadoop102/172.21.x.x to hadoop102:9000 failed on connec
yidianyidei的博客
08-11 2179
文章目录启动 hive 报错报错分析结论解决 启动 hive 报错 [root@hadoop102 hive]# bin/hive 报错 Logging initialized using configuration in jar:file:/opt/module/hive/lib/hive-common-1.2.1.jar!/hive-log4j.properties Exception in thread "main" java.lang.RuntimeException: java.net.Conne
spark运行时出现错误Caused by: java.lang.NoClassDefFoundError: org/apache/spark/internal/Logging
weixin_46002185的博客
01-05 3692
一般报这个错是跟下面这个错一起出现的： java.lang.ClassNotFoundException: org.apache.spark.internal.Logging 其实不管是 org.apache.spark.internal.Logging类还是 org.apache.spark.sql.SparkSession类等等，这些错误原因都是一样的： <scope>provided</scope> 找到 pom 文件中的这个配置 把他注释即可 <!--<sc
【Kylin】【Hive】【hive-testbench】tpch 数据集生成失败，提示报错class org.apache.hadoop.hdfs.web.HftpFileSystem ...
mukvintt的博客
08-29 819
hive-testbench 需要适配支持 hadoop 3.x 及以上版本
Kylin启动报错： Insufficient permissions (user=root, scope=default, params=[namespace=default,table=...
周源的专栏
09-18 2047
具体日志信息如下： Caused by: org.apache.hadoop.hbase.security.AccessDeniedException: org.apache.hadoop.hbase.security.AccessDeniedException: Insufficient permissions (user=root, scope=default, params=[names...
AccessControlException: Permission denied: user=root
arbalest1080的博客
09-03 470
Number of reduce tasks is set to 0 since there's no reduce operator org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x at org.apache.hadoop.hdfs.server.namenode.FS
HDFS 客户端常见报错整理
eli的博客
11-16 4376
向 NameNode 进行 RPC 请求向 DataNode 进行 IO 读写。无论哪个过程，如果出现异常，一般都不会导致业务失败，也都有重试机制，实际上，业务想要失败是很难的。在实际使用过程中，客户端和 NN 之间的 RPC 交互一般不会有什么报错，大部分报错都出现在和 DN 的 IO 交互过程中，这篇文章主要总结一下常见的 DN IO 报错。
spark读HDFS文件报错
bigtiger1648的专栏
09-11 862
操作如下 >>> val rdd= sc.textFile("hdfs://123.123.123.123:8020/user/hmh/spark/spark1.input") >>> rdd.map(_.split(" ")).collect 报错如下： java.lang.VerifyError: class org.apache.hadoo...
Kylin多维分析引擎（三）：Kylin的安装与使用
Yuan_CSDF的博客
06-19 757
1.Kylin的安装 安装可查看官方安全指南：http://kylin.apache.org/cn/docs/install/index.html
kylin报错及解决方案总结
zhangxiaomei1952的博客
02-06 1万+
一、在build cube这一步中报错：Value not exists! 查询该步的mr日志，提示 Not a valid value：2017-05-31，有两种可能 1.该错误是由于build过程中，所引用的维表数据发生了变化，使用该值查询维表，维表中不存在这条数据。 2.olap表关联了维表，但只使用了关联字段，如果olap表的code在维表里不存在，则会报错
3.Apache Kylin build cube 第一步（Create Intermediate Flat Hive Table）失败
终回首的博客
11-10 1538
一、问题 kylin版本：3.0.0 CDH版本：6.2.0 问题描述： 几分钟内提交8个build cube任务。top命令看到kylin所在节点cpu飙升到了100，找到对应的进程id，cd /proc/id下，发现都是kylin的进程，kill -9 杀死所有进程。重启一下kylin看看，重启后发现下面的日志。重启后，重新构建一个cube，在yarn页面可以看到build的第一个阶段已经完成，但是kylin界面显示仍然在执行Create Intermediate Flat Hive Table。看ky
Kylin安装及使用
shengjk1的博客
05-26 4514
背景 : 近来公司要做报表，随简单研究一下Kylin。Kylin可谓是我泱泱中华在Apace史上耀眼的一笔。作用: Kylin是强大的OLAP分析引擎，详见官网。安装​ Kylin有两种安装方式：单机及集群。本文以集群为例。单机版Kylin安装起来还是挺简单的，解压即安装。配置​ 1.环境变量的配置：​ export HADOOP_USER_NAME=hdfs ​
HBase - KYlin build cube时出现问题的汇总
Sha0w的博客
05-10 8002
1.在单条非空数据时出现null值而导致报错Vertex failed, vertexName=Map 1, vertexId=vertex_1494251465823_0017_1_01, diagnostics=[Task failed, taskId=task_1494251465823_0017_1_01_000021, diagnostics=[TaskAttempt 0 failed,
STM32 CubeIDE无法进行调试的问题
热门推荐
一名热爱技术的工程师的博客。分享技术干货，记录美好生活。永远相信美好的事情即将发生。
03-05 2万+
解决了由于一个很容易忽视的细节最终导致系统配置存在错误造成STM32 CubeIDE无法进行调试的问题
java.sql.SQLException: Access denied for user root'@ kylin200' (using password: YES)
01-29
java.sql.SQLException: Access denied for user 'root'@'kylin200' (using password: YES) 是一个数据库连接错误，表示用户 'root'@'kylin200' 由于密码错误而无法访问数据库。 解决这个问题的方法是确保使用正确的用户名和密码进行数据库连接。请按照以下步骤进行操作： 1. 确认用户名和密码：检查你正在使用的用户名和密码是否正确。确保密码没有拼写错误，并且与数据库中的用户密码匹配。 2. 检查主机名：检查你正在连接的主机名是否正确。确保主机名与数据库中的主机名匹配。 3. 检查权限：确保用户具有足够的权限来访问数据库。你可以使用GRANT语句为用户授予适当的权限。 4. 检查网络连接：确保你的网络连接正常。如果你使用的是远程数据库服务器，请确保你可以成功连接到该服务器。 5. 检查防火墙设置：如果你的数据库服务器位于受防火墙保护的网络中，请确保防火墙允许从你的应用程序访问数据库服务器。 以下是一个示例代码，演示了如何使用Java连接到MySQL数据库： ```java import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; public class DatabaseConnection { public static void main(String[] args) { String url = "jdbc:mysql://localhost:3306/mydatabase"; String username = "root"; String password = "your_password"; try { Connection connection = DriverManager.getConnection(url, username, password); System.out.println("Connected to the database!"); // 执行其他数据库操作... } catch (SQLException e) { System.out.println("Failed to connect to the database!"); e.printStackTrace(); } } } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值