【CDH6.1 spark-shell启动报错】Cluster deploy mode is not applicable to Spark shells

最新推荐文章于 2024-10-23 11:22:23 发布
最新推荐文章于 2024-10-23 11:22:23 发布
阅读量1w 收藏 2
点赞数 3
分类专栏： CDH
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jack_Roy/article/details/104566444
版权

【CDH6.1 spark-shell启动报错】Cluster deploy mode is not applicable to Spark shells

前言

在正常的CDH6.1后台运行spark-shell进入scala交互界面报错。

报错信息：

报错信息如下：

Exception in thread "main" org.apache.spark.SparkException: Cluster deploy mode is not applicable to Spark shells.
	at org.apache.spark.deploy.SparkSubmit.error(SparkSubmit.scala:857)
	at org.apache.spark.deploy.SparkSubmit.prepareSubmitEnvironment(SparkSubmit.scala:292)
	at org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:143)
	at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)
	at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:924)
	at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:933)
	at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

具体为：
在这里插入图片描述

解决方案

使用命令：

spark-shell --master yarn --deploy-mode client

运行成功进入交互页面：
在这里插入图片描述

Jack_Roy
关注
专栏目录
CDH集群spark-shell执行过程分析
萌兔兔MMQ！！
07-30 549
目的刚入门spark，安装的是CDH的版本，版本号spark-core_2.11-2.4.0-cdh6.2.1，部署了cdh客户端（非集群节点），本文主要以spark-shell为例子，对在cdh客户端上提交spark作业原理进行简单分析，加深理解spark-shell执行启动spark-shell后，可以发下yarn集群上启动了一个作业，实际上，cdh-spark默认提交作业模式为yarn-client模式，即在本地运行Driver，作业在yarn集群上执行spark-shell启动过程分析。...
Spark报错处理系列之：Exception in thread “main“ org.apache.spark.SparkException: Job aborted due to stage
zhengzaifeidelushang的博客
12-16 1441
Spark报错处理系列之：Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Total size of serialized results of 23 tasks 1043.8 MB is bigger than spark.driver.maxResultSize 1024.0 MB
Spark on Yarn的常见错误
muyingmiao的专栏
10-25 640
1. 将spark作业提交到yarn上执行 spark仅仅作为一个客户端 ./spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ /home/hadoop/app/spark-2.4.4-bin-2.6.0-cdh5.15.1/examples/jars/spark-examples_2.11-...
【spark】Cluster deploy mode is not applicable to Spark shells
Mrerlou的博客
11-29 2981
前言 使用CDH5.13 集成 apche spark2.4.2 使用spark-shell命令报错。 spark配置 spark-defaults.conf文件如下： spark.master yarn spark.deploy.mode cluster spark.submit.deployMode cluster spark.eventLog.enabled true spark.eventLo
执行”spark-shell –master yarn –deploy-mode client”,虚拟内存大小溢出，报错
weixin_30252155的博客
05-06 355
在Hadoop 2.7.2集群下执行如下命令： spark-shell --master yarn --deploy-mode client 爆出下面的错误： org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch a...
解决Exception in thread “main“ org.apache.spark.SparkException: When running with master ‘yarn‘ either
学亮编程手记
07-22 6043
Exception in thread “main” org.apache.spark.SparkException: When running with master ‘yarn’ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. spark-env.sh export HADOOP_CONF_DIR=/opt/bigdata/hadoop-2.9.2/etc/hadoop/ export YARN_CONF_D
本地运行spark报错为Exception in thread “main“ org.apache.spark.SparkException: Job aborted.
最新发布
2301_76509964的博客
10-23 988
这篇文章探讨了使用 Spark 时因日期和时间戳处理引发的错误及解决方案。首先，通过修改 yarn-site.xml 调整 YARN 的内存和 CPU 配置，防止内存不足。接着，在 SparkSession 中添加时间戳处理配置，解决了与日期或时间戳相关的兼容性问题，特别是处理1582年10月15日之前的数据。最后，介绍了两种处理模式：LEGACY模式旨在保持与旧版 Spark 和 Hive 的兼容性，适合交互场景；而CORRECTED模式确保日期的准确性，仅适用于 Spark 3.0 及以上版本。
spark-shell启动spark报错
zhang__rong的博客
11-05 1851
spark-shell启动spark报错 前言 　　离线安装好CDH、Coudera Manager之后，通过Coudera Manager安装所有自带的应用，包括hdfs、hive、yarn、spark、hbase等应用，过程很是波折，此处就不抱怨了，直接进入主题。 描述 　　在安装有spark的节点上，通过spark-shell启动spark，满怀期待的启动spark，but，来了个晴...
spark-shell 启动报错org.apache.hadoop.security.AccessControlException: Permission denied: user=root, acc
蘑菇丁的专栏
05-16 2184
[root@cm3 ~]# spark-shell Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). 19/05/16 17:08:23 ERROR spark.SparkContext:...
安装CDH后启动spark-shell报错解决方案
jaysen1005的博客
02-28 2321
描述 安装好CDH、Coudera Manager之后，通过Coudera Manager安装所有自带的应用，包括hdfs、hive、yarn、spark、hbase等。利用远程客户端在安装有spark的节点上，通过spark-shell启动spark，满怀期待的启动spark，but，来了个晴天霹雳，报错了，报错了！错误信息如下： 19/02/28 13:45:06 ERROR spark....
spark-3.2.2-bin-3.0.0-cdh6.3.2
10-20
内容概要：由于cdh6.3.2的spark版本为2.4.0，并且spark-sql被阉割，现基于cdh6.3.2，scala2.12.0，java1.8，maven3.6.3，,对spark-3.2.2源码进行编译 应用：该资源可用于cdh6.3.2集群配置spark客户端，用于spark-sql
启动spark-shell遇到的一些问题
记录
04-12 5733
执行：spark-shell 1、报When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in th environmwnt 原因是没有配置之前在/etc/profile下配置了hadoop的环境变量，但是没有配置HADOOP_CONF_DIR 解决办法： vim /U...
Spark on Yarn运行错误：Yarn application has already ended! It might have been killed or unable to launch
努力的凹凸曼的博客
04-18 1998
Spark on Yarn模式运行错误： bin/spark-shell --master yarn --deploy-mode client #报错 查看8088页面上的工作日志 错误原因：在执行任务时检测到虚拟机的内存太小，2.2g的虚拟内存实际值，超过了2.1g的上限，不能满足该任务所需的内存要求，于是Yarn就干掉了执行此任务的contrainer。 解决办法： 在y...
提交spark的代码的时候出现Exception in thread "main" org.apache.SparkException:Yarn application has already end
wangxiyanw的博客
03-06 7233
出现的具体错误是:Exception in thread "main" org.apache.SparkException:Yarn application has already ended! It might have been killed or unable to launch application master.我最开始运行的是client模式出现了Spark的任务无法提交的情况.之后...
Spark-shell 无法启动之网络问题
weixin_30823833的博客
05-07 684
由于需要首次手动安装sbt，需要联网，故将虚拟机的网络适配器模式设置为"桥接模式"，这样就可以和互联网相连接。 但是后面执行"spark-shell --master yarn --deploy-mode client" 命令时，无法启动，一直停留在中间状态不动， 如下： [root@master test_code]# spark-shell --master yarn --deploy...
Spark on yarn模式的参数设置即调优
04-28 6303
1 启动方式 执行命令./spark-shell --master yarn默认运行的是client模式。 执行./spark-shell --master yarn-client或者./spark-shell --master yarn --deploy-mode client运行的也是client。 执行./spark-shell --master yarn-cluster或者./spar...
Cluster deploy mode is not compatible with master "local"解决办法
weixin_39031707的博客
12-13 3149
spark-submit --deploy-mode cluster --executor-memory 4G --executor-cores 4 --conf spark.executor.memoryOverhead=1000 --conf spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=2 --conf spark...
spark sql 基础
大数据机器学习
04-21 2145
SparkSQL初始化 Java API SparkConf sparkConf = new SparkConf().setAppName("JavaSparkSQL"); JavaSparkContext ctx = new JavaSparkContext(sparkConf);   SQLContext sqlContext = new SQLContext(ctx); 启动Spark
cdh6.3.2 spark-submit 提交作业到 yarn
06-28
--deploy-mode cluster \ --num-executors 3 \ --driver-memory 4g \ --executor-memory 2g \ --executor-cores 2 \ /path/to/examples.jar 100 ``` --class参数指定执行的主类名，对应的jar文件已经上传至HDFS上。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值