CDH安装Spark2后执行spark-shell报错

最新推荐文章于 2024-06-16 13:44:00 发布
最新推荐文章于 2024-06-16 13:44:00 发布
阅读量312 收藏
点赞数
分类专栏： spark 文章标签： spark hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36815898/article/details/114645089
版权

CDH集群，使用CM安装完Spark2，使用spark2-shell报错
报错信息如下

[root@hadoop103 ~]# spark2-shell
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
21/03/10 19:53:53 ERROR spark.SparkContext: Error initializing SparkContext.
org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
	at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:279)
	at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:260)
	at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:240)
	at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:162)
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:152)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:3885)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:3868)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:3850)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess(FSNamesystem.java:6826)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:4562)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:4532)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4505)
	at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:884)
	at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.mkdirs(AuthorizationProviderProxyClientProtocol.java:328)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:641)
	at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:617)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1073)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2278)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2274)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1924)
	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2272)

	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
	at org.apache.hadoop.ipc.RemoteException.instantiateException(RemoteException.java:106)
	at org.apache.hadoop.ipc.RemoteException.unwrapRemoteException(RemoteException.java:73)
	at org.apache.hadoop.hdfs.DFSClient.primitiveMkdir(DFSClient.java:3157)
	at org.apache.hadoop.hdfs.DFSClient.mkdirs(DFSClient.java:3122)
	at org.apache.hadoop.hdfs.DistributedFileSystem$19.doCall(DistributedFileSystem.java:1005)
	at org.apache.hadoop.hdfs.DistributedFileSystem$19.doCall(DistributedFileSystem.java:1001)
	at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
	at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirsInternal(DistributedFileSystem.java:1001)
	at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirs(DistributedFileSystem.java:993)
	at org.apache.hadoop.fs.FileSystem.mkdirs(FileSystem.java:1970)
	at org.apache.hadoop.fs.FileSystem.mkdirs(FileSystem.java:614)
	at org.apache.spark.deploy.yarn.Client.prepareLocalResources(Client.scala:449)
	at org.apache.spark.deploy.yarn.Client.createContainerLaunchContext(Client.scala:856)
	at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:172)
	at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56)
	at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:165)
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:512)
	at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2511)
	at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:909)
	at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:901)
	at scala.Option.getOrElse(Option.scala:121)
	at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:901)
	at org.apache.spark.repl.Main$.createSparkSession(Main.scala:97)
	at $line3.$read$$iw$$iw.<init>(<console>:15)
	at $line3.$read$$iw.<init>(<console>:42)
	at $line3.$read.<init>(<console>:44)
	at $line3.$read$.<init>(<console>:48)
	at $line3.$read$.<clinit>(<console>)
	at $line3.$eval$.$print$lzycompute(<console>:7)
	at $line3.$eval$.$print(<console>:6)
	at $line3.$eval.$print(<console>)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at scala.tools.nsc.interpreter.IMain$ReadEvalPrint.call(IMain.scala:786)
	at scala.tools.nsc.interpreter.IMain$Request.loadAndRun(IMain.scala:1047)
	at scala.tools.nsc.interpreter.IMain$WrappedRequest$$anonfun$loadAndRunReq$1.apply(IMain.scala:638)
	at scala.tools.nsc.interpreter.IMain$WrappedRequest$$anonfun$loadAndRunReq$1.apply(IMain.scala:637)
	at scala.reflect.internal.util.ScalaClassLoader$class.asContext(ScalaClassLoader.scala:31)
	at scala.reflect.internal.util.AbstractFileClassLoader.asContext(AbstractFileClassLoader.scala:19)
	at scala.tools.nsc.interpreter.IMain$WrappedRequest.loadAndRunReq(IMain.scala:637)
	at scala.tools.nsc.interpreter.IMain.interpret(IMain.scala:569)
	at scala.tools.nsc.interpreter.IMain.interpret(IMain.scala:565)
	at scala.tools.nsc.interpreter.ILoop.interpretStartingWith(ILoop.scala:807)
	at scala.tools.nsc.interpreter.ILoop.command(ILoop.scala:681)
	at scala.tools.nsc.interpreter.ILoop.processLine(ILoop.scala:395)
	at org.apache.spark.repl.SparkILoop$$anonfun$initializeSpark$1.apply$mcV$sp(SparkILoop.scala:38)
	at org.apache.spark.repl.SparkILoop$$anonfun$initializeSpark$1.apply(SparkILoop.scala:37)
	at org.apache.spark.repl.SparkILoop$$anonfun$initializeSpark$1.apply(SparkILoop.scala:37)
	at scala.tools.nsc.interpreter.IMain.beQuietDuring(IMain.scala:214)
	at org.apache.spark.repl.SparkILoop.initializeSpark(SparkILoop.scala:37)
	at org.apache.spark.repl.SparkILoop.loadFiles(SparkILoop.scala:98)
	at scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.apply$mcZ$sp(ILoop.scala:920)
	at scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.apply(ILoop.scala:909)
	at scala.tools.nsc.interpreter.ILoop$$anonfun$process$1.apply(ILoop.scala:909)
	at scala.reflect.internal.util.ScalaClassLoader$.savingContextLoader(ScalaClassLoader.scala:97)
	at scala.tools.nsc.interpreter.ILoop.process(ILoop.scala:909)
	at org.apache.spark.repl.Main$.doMain(Main.scala:70)
	at org.apache.spark.repl.Main$.main(Main.scala:53)
	at org.apache.spark.repl.Main.main(Main.scala)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:755)
	at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180)
	at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205)
	at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:119)
	at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
	at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:279)
	at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:260)
	at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:240)
	at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:162)
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:152)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:3885)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:3868)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:3850)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess(FSNamesystem.java:6826)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:4562)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:4532)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4505)
	at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:884)
	at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.mkdirs(AuthorizationProviderProxyClientProtocol.java:328)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:641)
	at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:617)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1073)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2278)

报错原因：启动spark的用户权限不够，我在root用户下使用spark-shell启动的spark，需要hdfs用户启动spark（注：hdfs是hadoop的超级用户），所以报错。

解决方法：

方法1：使用hdfs用户，进入spark
在这里插入图片描述
方法2：修改dfs.permissions为false ，但是需要重启hdfs，生产环境不建议这样做。
在这里插入图片描述

方法3：还可以修改hdfs的所属用户为root
参考链接：https://ask.hellobi.com/blog/hql15/3153

怒上王者
关注
专栏目录
CDH集群spark-shell执行过程分析
萌兔兔MMQ！！
07-30 536
目的刚入门spark，安装的是CDH的版本，版本号spark-core_2.11-2.4.0-cdh6.2.1，部署了cdh客户端（非集群节点），本文主要以spark-shell为例子，对在cdh客户端上提交spark作业原理进行简单分析，加深理解spark-shell执行启动spark-shell后，可以发下yarn集群上启动了一个作业，实际上，cdh-spark默认提交作业模式为yarn-client模式，即在本地运行Driver，作业在yarn集群上执行spark-shell启动过程分析。...
安装CDH后启动spark-shell报错解决方案
jaysen1005的博客
02-28 2311
描述 安装好CDH、Coudera Manager之后，通过Coudera Manager安装所有自带的应用，包括hdfs、hive、yarn、spark、hbase等。利用远程客户端在安装有spark的节点上，通过spark-shell启动spark，满怀期待的启动spark，but，来了个晴天霹雳，报错了，报错了！错误信息如下： 19/02/28 13:45:06 ERROR spark....
CDH上安装spark2的操作说明
11-16
CDH安装SPark2的方法 可以同时安装CDH的默认spark以及最近的spark2
运行spark-shell查看版本报错[init] error: error while Loading object, Missing dependency‘ object scala in
T_Y_F_的博客
11-11 1289
运行spark-shell查看版本报错[init] error: error while Loading object, Missing dependency‘ object scala in
spark-shell启动报错--无法连接master
weixin_43079984的博客
02-24 1920
①spark standalone模式无法启动，连接master失败，但是集群用jps查看时，master明明已经启动。 ②spark-shell on yarn启动时，无法创建sc。 原因：通过hadoop104:8080查看master节点时，master节点的状态为standby，说明集群中目前没有master提供服务。 ...
Spark运行spark-shell与hive运行时均报错的一种解决方案
最新发布
qq_48596586的博客
06-16 409
我的集群的域名为hadoopxx，但是我的集群的主机名均为ubuntu，导致集群中Node Address均为ubuntu:8042。此图片需要在ResourceManager的IP的8088端口才能看见。在运行hive的时候，报错代码为30041，无法执行insert语句。在运行spark-shell的时候，报错，无法进入到shell脚本中。将集群的主机名称修改为与集群的域名相匹配的名称。对集群设置的域名与集群的主机名称不一致。环境按照尚硅谷的配置的。
Spark-遇到的坑-启动spark报错
热门推荐
a1032818891的博客
07-26 1万+
1.解决措施： Please instead use:  - ./spark-submit with --num-executors to specify the number of executors  - Or set SPARK_EXECUTOR_INSTANCES  - spark.executor.instances to configure the number of instanc...
【Spark】Spark安装和Spark-shell使用
晚风中的自由
10-27 1439
一、spark的安装模式 1、本地模式（local），单点模式，非分布式模式，只需要用到一台机器； 2、standalone模式，是spark自己实现的独立调度器，它是一个资源调度框架；Spark可以通过部署与Yarn的架构类似的框架来提供自己的集群模式，该集群模式的架构设计与HDFS和Yarn大相径庭，都是由一个主节点多个从节点组成，在Spark 的Standalone模式中，主节点为mas...
spark-shell启动spark报错
zhang__rong的博客
11-05 1823
spark-shell启动spark报错 前言 　　离线安装好CDH、Coudera Manager之后，通过Coudera Manager安装所有自带的应用，包括hdfs、hive、yarn、spark、hbase等应用，过程很是波折，此处就不抱怨了，直接进入主题。 描述 　　在安装有spark的节点上，通过spark-shell启动spark，满怀期待的启动spark，but，来了个晴...
解决CDH内嵌Spark版本不支持spark-sql的方案
阿啄debugIT
02-15 2989
1.概述 CDH内嵌Spark版本不支持spark-sql,因为cloudera在推自己的impala，但是有些场景需要用到Spark-sql时，比如Kylin企业版想要加快构建需要用到SparkSQL，大概的思路就是换jar包，很多资料，千篇一律是要加入hive&hivethriftserver重新编译源码再打成jar才能支持，其实我们只需要到官网去把编译好的spark包下下来，直接替...
Win10下spark-shell报错处理-附件资源
03-02
Win10下spark-shell报错处理-附件资源
Cloudera Manager及CDH从5.4.8升级到5.12.1全过程&安装Spark2.2全过程
09-29
详细阐述升级的全过程及需要备份的目录与方法 Cloudera Manager及CDH从5.4.8升级到5.12.1全过程&安装Spark2.2全过程
spark-shell 启动报错
weixin_30830327的博客
12-03 278
错误如下： [root@hadoop conf]# spark-shell --master local[2] Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/Logger at java.lang.Class.getDeclaredMethods0(Native Method) ...
CDH 安装spark2
tour9566的博客
07-08 743
一.安装准备 csd包：http://archive.cloudera.com/spark2/csd/ parcel包：http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera2/ 二.开始安装 1.安装前可以停掉集群和Cloudera Management Service 2.下面的操作，只需要在安装spark2的机器上面进行，我只选择C...
CDH安装Spark2
subian1261的博客
07-03 919
前言 我们采用的cdh版本是5.16.1，对应的spark版本是1.6.0，由于项目需要使用使用Spark的版本是2.1.0，所以进行了Spark的升级。 实现过程 1、下载文件 1）jar文件 下载路径： http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.1.0.cloudera4.jar 2）manifest.json文件 下载路径： http://archive.cloudera.com/spark2/parcels/2.1.0.cloud
CDH之spark2的安装
大曹的博客
11-04 806
CDH之spark2的安装 就之前我是cdh-5.16.1，那我们添加服务来看一下有没有spark2的安装 没有吧，那我接下就开始让他出现吧 spark2的安装 spark2的安装包的下载 1，首先下载 on_yarn的jar包(因为cdh的spark2目前只支持on yarn 模式) http://archive.cloudera.com/spark2/csd/ 2，下载spark2的安装...
安装spark时输入spark-shell报错 “系统找不到指定的路径“
xfysq_的博客
12-16 3457
安装spark时输入spark-shell报错 “系统找不到指定的路径“
执行spark-shell报错：
weixin_30359021的博客
11-24 301
执行spark-shell报错： [ERROR] Terminal initialization failed; falling back to unsupportedjava.lang.NoClassDefFoundError: Could not initialize class scala.tools.fusesource_embedded.jansi.internal.Kernel32 ...
进入spark-shell报错
习惯一个人面对所有
04-10 1087
进入spark-shell总是报一大堆错才能进去 Unable to load native-hadoop library for your platform… using builtin-java classes where applicable To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLo...
Spark源码编译与安装指南
5. 安装 Spark：编译完成后，解压生成的 `.tgz` 文件（例如 `spark-2.1.0-bin-2.6.0-cdh5.7.0.tgz`）到指定的目录，例如 `~/app/`：`tar -zxvf spark-2.1.0-bin-2.6.0-cdh5.7.0.tgz -C ~/app/`。 6. 配置环境变量：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

怒上王者

你的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值