使用Spark-shell --master yarn 命令报错

最新推荐文章于 2023-11-27 23:47:23 发布
最新推荐文章于 2023-11-27 23:47:23 发布
阅读量634 收藏 1
点赞数
分类专栏： FAQS 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gg1314723/article/details/118697926
版权
博客讲述了在运行 Spark Shell 命令时遇到的问题，即动态分配 executors 需要外部 shuffle 服务。错误原因是服务端与客户端的 spark.shuffle.service.enable 配置不一致。解决方案是将该配置参数设置为 false，从而解决启动问题。
摘要由CSDN通过智能技术生成

问题描述：

使用Spark-shell --master yarn 命令报错：
	Dynamic allocation of excutors requires the external shuffle service. You may enable this through spark.shuffle.service.enable

原因分析：

检查服务端与客户端spark.shuffle.service.enable
配置不对导致

解决方案：

将spark.shuffle.service.enable 设置为false

gg1314723
关注
专栏目录
spark on yarn模式 使用spark-shell spark-sql
yy的博客
09-01 401
spark-shell spark-sql
执行Spark运行在yarn上的命令报错 spark-shell --master yarn-client
HiterCoder
04-22 737
执行Spark运行在yarn上的命令报错 spark-shell --master yarn-client 1、执行Spark运行在yarn上的命令报错 spark-shell --master yarn-client，错误如下所示： 18/04/22 09:28:22 ERROR SparkContext: Error initializi...
spark-sql master on yarn 模式运行 select count(*) 报错日志
09-05 297
启动hive --service metastore 启动 dfs yarn [root@bigdatastorm bin]# ./spark-sql --master yarn --deploy-mode client --driver-memory 512m --executor-memory 512m --total-executor-cores...
spark-shell在yarn client模式下启动报错
柠檬柒色的专栏
10-26 1612
spark-shell在yarn client模式下启动报错 17/10/26 19:16:12 ERROR cluster.YarnClientSchedulerBackend: Yarn application has already exited with state FINISHED! 17/10/26 19:16:12 ERROR client.TransportClient:
spark-shell启动报错：Yarn application has already ended! It might have been killed or unable to launch...
u013303361的专栏
04-17 6201
前半部分转自：https://www.cnblogs.com/tibit/p/7337045.html （后半原创）spark-shell不支持yarn cluster，以yarn client方式启动spark-shell --master=yarn --deploy-mode=client启动日志，错误信息如下 其中“Neither spark.yarn.jars nor spark.yarn...
spark-shell启动报错：Yarn application has already ended! It might have been killed or unable to launch ap...
weixin_30252155的博客
08-10 167
spark-shell不支持yarn cluster，以yarn client方式启动 spark-shell --master=yarn --deploy-mode=client 启动日志，错误信息如下 其中“Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to upload...
Spark-shell和Spark-submit
feizuiku0116的博客
02-07 360
Spark支持多种集群管理器（Cluster Manager）,取决于传递给SparkContext的MASTER环境变量的值：local、spark、yarn，区别如下： 一、Spark-shell 引入：之前我们使用提交任务都是使用spark-shell提交，spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下可以用scala编写spark程序，适合学习测试时使用！ 实例：spark-shell可以携带参数 spark-shell --mast
【spark床头书系列】spark-shell 任务提交任务参数选项说明示例源码权威详解
最新发布
wang2leee的博客
11-27 1191
spark-shell 任务提交任务参数选项说明示例源码详解
Spark-Shell的启动和运行
weixin_55983492的博客
08-09 4277
一、运行spark-shell命令 执行spark-shell命令就可以进入Spark-Shell交互式环境 [root@hadoop1 spark-2.1.0-bin-hadoop2.4]# spark-shell 二、Spark Rdd简单操作 1.从文件系统加载数据创建RDD----textFile （1）从Linux本地文件系统加载数据创建RDD scala> val rdd = sc.textFile("file:///root/word.txt") scala>.
Spark on Yarn运行错误：Yarn application has already ended! It might have been killed or unable to launch
努力的凹凸曼的博客
04-18 1981
Spark on Yarn模式运行错误： bin/spark-shell --master yarn --deploy-mode client #报错 查看8088页面上的工作日志 错误原因：在执行任务时检测到虚拟机的内存太小，2.2g的虚拟内存实际值，超过了2.1g的上限，不能满足该任务所需的内存要求，于是Yarn就干掉了执行此任务的contrainer。 解决办法： 在y...
spark-shell on yarn 出错解决【启动命令bin/spark-shell --master yarn-client出现错误，类ExecutorLauncher 找不到】
Thinking
12-01 1万+
文章来源：http://www.dataguru.cn/thread-331456-1-1.html 今天想要将spark-shell 在yarn-client的状态下 结果出错： [python] view plaincopy [hadoop@localhost spark-1.0.1-bin-hadoop2]$ bin/spark-shell
spark-shell启动报错--无法连接master
weixin_43079984的博客
02-24 1907
①spark standalone模式无法启动，连接master失败，但是集群用jps查看时，master明明已经启动。 ②spark-shell on yarn启动时，无法创建sc。 原因：通过hadoop104:8080查看master节点时，master节点的状态为standby，说明集群中目前没有master提供服务。 ...
spark-shell/spark-sql --master yarn的一些坑 ---001
do_what_you_can_do的博客
11-14 1782
一、 错误描述：Exception in thread "main" org.apache.spark.SparkException: Application application_1479132065716_00 原因：我的是JDK版本过高，使用spark2.0.1+hadoop2.5.2+hive0.13+JDK1.7没问题 二、 错误描述：Exception in thread
spark-shell --master yarn-client启动遇到的
qq_36055407的博客
10-13 383
在启动是遇到如下错误： 19/10/01 01:32:51 ERROR spark.SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to l...
spark-shell --master yarn-client(异常已经解决)
热门推荐
程裕强的专栏
04-09 3万+
[root@node1 ~]# spark-shell --master yarn-client Warning: Master yarn-client is deprecated since 2.0. Please use master "yarn" with specified deploy mode instead. Using Spark's default log4j profile: o
Spark学习-SparkSQL--04-SparkSQL CLI 单节点运行与yarn集群运行
九师兄
08-08 1423
1。单节点运行 bin/spark-sql --master spark://bigdata01.hzjs.co:7077 --executor-memory 40g --total-executor-cores 50 --conf spark.sql.warehouse.dir=hdfs://bigdata01.hzjs.co:8020/user/sparksql --conf spark.dri
Java启动sparksql,spark-sql启动的时候需要制定master吗？
weixin_27251469的博客
03-13 607
spark-sql 启动时制定masterspark-sql --master spark://mater:7077 指定maser 相当于standalone模式如果直接spark-sql 启动，spark-env.sh中配置了spark master的ip，此时不指定master也相当于standalone模式spark-sql --master yarn-client 是以yarn客...
在yarn中启动spark-shell客户端提交任务？
05-30
4. 最后，您可以使用以下命令将Spark任务提交到YARN集群： ``` wordCounts.saveAsTextFile("hdfs:///path/to/your/output/directory") ``` 这将将Word Count结果保存为文本文件，并将其写入HDFS上指定的目录中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值