spark应用yarn模式提交多个应用，一个Running,其它处于accepted状态

最新推荐文章于 2022-10-13 08:00:00 发布
最新推荐文章于 2022-10-13 08:00:00 发布
阅读量4.4k 收藏 3
点赞数 2
分类专栏： 大数据 # Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ddxygq/article/details/81177062
版权
大数据 同时被 2 个专栏收录
38 篇文章 13 订阅 ¥29.90 ¥99.00
订阅专栏
Spark
10 篇文章 1 订阅
订阅专栏
在大数据集群中，遇到Spark应用提交时只能单个Running，其余为Accepted状态。通过在NodeManager配置长期运行的Shuffle服务，并更新Spark应用配置，解决了此问题，允许同时运行更多应用。
摘要由CSDN通过智能技术生成

我的个人博客

刚折腾起来的大数据集群，需要提交spark应用到yarn，每次只能运行一个，处于Running状态，其它处于Accepted状态，经过几天折腾，仍然只能运行两个spark应用，坚持了一下，终于解决。

在NodeManager中启动External shuffle Service

a. 在yarn-site.xml中添加如下配置项：

<property>
<name
了解本专栏 订阅专栏 解锁全文
大数据技术派
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 11
    评论
专栏目录
订阅专栏
同时提交多个spark-submit任务，只有第一个处于running，其他都处于waiting状态（已解决）
lukabruce的博客
12-23 2180
问题描述： 同时提交多个spark-submit任务，只有第一个处于running，其他都处于waiting状态 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have s...
Yarn容量调度器并发度问题，解决一直卡在Running job
For_dongyang的专栏
03-04 3478
一、问题描述 Yarn默认调度器为CapacityScheduler（容量调度器），且默认只有一个队列——default。如果队列中执行第一个任务资源不够，就不会再执行第二个任务，一直等到第一个任务执行完毕。 （1）创建一张测试表 create table student(id int, name string); （2）启动1个hive客户端，执行以下插入数据的sql语句 insert into table student values(1,'abc'); 执行该语句，hive会初始化..
spark on yarn提交任务后总是accepted以及通过yarn关闭application
微电子学与固体电子学-俞驰
05-01 5161
打开链接: http://Desktop:8088/proxy/application_1588324196554_0005/ 点击图中 Queue后面的default 会看到队列100% 解决方案[1]: 检查内存是否没释放 yarn application -list yarn application -kill application_1437456051228_...
hive on spark 同时只能提交一个任务错误处理
prometheus的博客
04-21 1245
同时提交几个任务时报 FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 1e458098-9ef7-4709-a117-c1b0b6ea0eee_0: java....
Spark on Yarn集群多Application并行执行
学亮编程手记
07-20 786
在工作中遇到向Spark集群提交多个任务，并且这些任务是需要同时执行的。但是遇到很多错误，所以把遇到的问题记录下来。 修改hadoop/etc/hadoop/yarn-site.xml文件 需要添加的配置 <property> <name>yarn.nodemanager.aux-services.spark_shuffle.class</name> <value>org.apache.spark.network.yar
Hive提交的MapReduce任务执行中段挂起（从Running状态跳回为Accepted状态）问题解决记录...
ayw0484的博客
09-07 510
一个用Java写的计算程序通过JDBC的方式连接Hive数据库，执行SQL查询语句查询数据。结果对应的MapReduce任务执行到Map 18% Reduce xx%之后，所有的进度输出都变为了Map 0% Reduce 0% 在排查Java语句无问题后，kill掉了Job，由于Job的log已经不可查，直接尝试重新运行程序 新的Hive查询创建的MapReduce任务阻塞在了Ac...
Hive提交的MapReduce任务执行中段挂起（从Running状态跳回为Accepted状态）问题解决记录
kodmoqn的博客
07-04 256
Hive提交的MapReduce任务执行中段挂起（从Running状态跳回为Accepted状态）问题解决记录
spark跑YARN模式或Client模式提交任务不成功（application state: ACCEPTED）
weixin_33828101的博客
04-09 3557
     　　不多说，直接上干货！     　　问题详情 　 电脑8G，目前搭建3节点的spark集群，采用YARN模式。     master分配2G，slave1分配1G,slave2分配1G。（在安装虚拟机时）     export SPARK_WORKER_MERMORY=1g  （在spark-env.sh） export JAVA_HOME=/usr/local/...
使用idea编写spark程序并提交到yarn集群例子
光于前裕于后的博客
03-04 3654
需提前安装jdk、scala 1.创建新项目 2.增加Maven 3.修改pom.xml文件 &amp;amp;lt;?xml version=&amp;quot;1.0&amp;quot; encoding=&amp;quot;UTF-8&amp;quot;?&amp;amp;gt; &amp;amp;lt;project xmlns=&amp;quot;http://maven.apache.org/POM/4
Spark Yarn Client模式双网卡-多hostname导致问题（阿里云）
九师兄
07-04 929
背景 我的集群部署是这样的 一个CDH集群，因为我们不能在集群内进行操作，因为我们的服务是部署在集群之外的，通过 [deploy@cdh ~]$ export HADOOP_USER_NAME=shulan_admin;spark2-submit --class com.dtwave.cheetah.node.spark.structured.streaming.StructureStreami...
提高 yarn 平台任务的并发执行数量
骑着蜗牛向前跑的博客
10-10 2398
让 yarn 同事执行多个任务，可以提高集群资源的利用效率，也提高了任务的执行效率。description 写的很清楚：所有正在运行的 application 使用的资源占集群总资源的最大百分比。经常会看到一个现象，RUNNING 状态的 application 使用的内存资源大于我们提交任务时申请的资源数。yarn 平台为任务分配资源的时候，有最小资源分配数和最大资源分配数的限制，且这两个限制都可以通过配置参数修改。实际 executor 分配的内存 = 申请的内存 + 额外配置的内存。
关于flink on yarn只能提交一个job的问题
ilyomind的博客
09-29 1296
问题：第一个任务正常，随后的任务提交一直显示container分配成功后，没有启动task。仔细对比发现，两个任务的taskmanager的rpc端口一样。 解决方法： 官网解释如下： 在使用cluster模式时，如果使用per job模式，不能手动设置cluster.id，每次提交任务时，会自动生成。检查配置参数，不要配置cluster.id就会解决 ...
Yarn 的 多队列 模式
weixin_45417821的博客
04-27 1268
文章目录Yarn 容量调度器并发度问题演示增加 ApplicationMaster 资源比例配置 Yarn 容量调度器多队列1）增加容量调度器队列2）测试新队列 Yarn 容量调度器并发度问题演示 Yarn 默认调度器为 Capacity Scheduler（容量调度器），且默认只有一个队列——default。如果队列中执行第一个任务资源不够，就不会再执行第二个任务，一直等到第一个任务执行完毕。 （1）启动 1 个 hive 客户端，执行以下插入数据的 sql 语句。 hive (default)>
HadoopYarn常用命令、yarn application查看任务、yarn logs查看日志、yarn applicationattempt查看尝试运行的任务、查看容器、Yarn生产环境核心参数
最新发布
Redamancy06的博客
10-13 7988
yarn queue查看队列、yarn rmadmin更新配置、yarn node查看节点状态、yarn container查看容器、列出所有Application、根据Application状态过滤：yarn application -list -appStates （所有状态：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED）、Kill掉Application、查询Application日志、查询Container日
Spark作业一直处于ACCEPTED状态
qq_32068809的博客
02-25 3119
原因1：集群处于不健康状态 打开yarn监控页面，查看nodes 状态 如果Unhealthy Nodes列不为0，说明有的节点不健康，可以点进去查看详情，处理完并且集群处于健康状态后可尝试再次提交作业。
hadoop之yarn
luo981695830的博客
01-26 4675
yarn介绍 yarn是Apache Hadoop YARN，hadoop中的组件，是英文简称，全程是Yet Another Resource Negotiator，另一种资源协调者，是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 hadoop进行资源管理和任务调度的是resourcemanager。后面会更新google三篇论文和yarn的演变过程 yarn的web界面..
【解决】处于ACCEPTED状态不runnin…
热门推荐
flash胜龙的博客
04-21 2万+
Oozie提交pyspark任务后yarn 8088一直处于ACCEPTED状态不运行running 这个问题困扰了我一个周末……一个周末……（然后其实后面又困扰了一周） 而且重启注销，不懂是不是因为ubuntu kylin不稳定 【结果】是因为单集群的问题，导致yarn一次只能运行一个job。在服务器上跑就没有事儿，在自己的虚拟机上跑就不行，因为没配备多个虚拟机。——————【你以为是这样就大
Spark on YARN集群模式搭建全攻略
使用`spark-submit`命令将Spark应用提交到YARN集群。例如： ``` /export/servers/spark/bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ --driver...
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据技术派

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值