同时提交多个spark-submit任务，只有第一个处于running，其他都处于waiting状态（已解决）

最新推荐文章于 2022-10-29 13:01:50 发布

卢子墨

最新推荐文章于 2022-10-29 13:01:50 发布

阅读量2.2k

点赞数

分类专栏： Spark原理、实战、总结文章标签： spark

本文链接：https://blog.csdn.net/lukabruce/article/details/103659816

版权

Spark原理、实战、总结专栏收录该内容

56 篇文章 4 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

当尝试并行提交多个Spark任务时，除了第一个任务处于running状态，其余任务显示为waiting。解决方法是通过maven完成clean、install、package流程，打包jar包并使用spark-submit提交。确保每个应用分配的核数不超过代码中设置的最大值。如果仍有任务等待，检查集群总核数是否小于所有应用设置核数之和。

摘要由CSDN通过智能技术生成

`问题描述：同时提交多个spark-submit任务，只有第一个处于running，其他都处于waiting状态`

WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory

解决方案：

/** 构建spark运行环境  */
val spark = SparkSession.builder()
  .appName("Application_Name")
  .config("spark.sql.warehouse.dir", Po_Utils.getPro(

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

卢子墨

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

hadoop组件---spark实战----spark on k8s模式k8s原生方式---cluster mode调用运行spark程序

直到世界的尽头

02-05

2258

我们在上篇文章中已经记录了如果安装spark on k8s模式k8s原生方式—cluster mode。 hadoop组件—spark实战----spark on k8s模式k8s原生方式安装spark2.4.4 cluster mode 本章记录 cluster mode这种方式的spark集群使用方法。首先注意提交spark命令需要借助 spark的安装包中的spark-submit命...

Spark提交程序到Yarn任务状态一直为Accepted

最新发布

qq_45294435的博客

03-04

697

有一个Flink任务一直处于running状态，导致yarn资源不足，后续的Spark任务一直处于Accepted状态。查看当前yarn是否有资源可供调度，如果资源不足，则无法正常运行任务。解决:把flink任务kill。

参与评论您还未登录，请先登录后发表或查看评论

Hadoop与Spark并行度设置问题（mr、spark任务提交参数的设置、spark-submit参数调优）

zxlove

07-02

1574

并行度的影响合理的并行度，不能太小也不要过大。并行度较小：并发度小，执行效率低；（失去分布式计算的意义）并行度过大：资源申请上的劣势。导致ApplicationMaster在向yarn提交资源申请时不能做到数据本地化（分配执行任务的机器不是数据所在机器，yarn resourcemanager在分配资源时选择数据本地、同机架、集群随机三种方式，优先级从前到后），甚至由于集群剩余资源不足而处于排队等待状态，申请资源时间成为整个任务执行时间的瓶颈；每个task的初始化时间拖了任务执行时间的后腿（一

Spark task过多导致任务运行过慢甚至超时

monkeyboy_tech的博客

03-15

5972

背景以及现象本文基于 spark 3.1.2 设置spark.driver.memory=2g 在调试spark sql任务的时候，发现有几个任务产生了40多万个Task，而且任务长期运行不出来。分析运行此sql，可以得到如下的dag（我们只截取产生Task多的Stage），由此可以看到是scan的文件太大了（scan了日志文件半年的数据）。但是为什么这种情况下会导致任务运行很缓慢甚至会超时呢？找到driver端，用jstat -gcutil查看一下对应的gc情况(对应的内存都是调优完后的镜像

Spark之YARN提交模式

weixin_33810006的博客

03-31

一.Client模式　　提交命令：　　./spark-submit --master yarn --class org.apache.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.7.3.jar 1000 　　./spark-submit --master yarn-client --class org.apache.examp...

Spark应用提交

weixin_30883777的博客

12-04

在Spark的bin目录中的spark-submit脚本用与在集群上启动应用程序。它可以通过一个统一的接口使用所有Spark支持的Cluster Manager，所以您不需要专门的为每个Cluster Manager来配置您的应用程序。打包应用依赖如果您的代码依赖了其它的项目，为了分发代码到Spark集群中您将需要将它们和您的应...

多个SPARK版本导致任务提交问题

半路出家，立地为猿

08-19

558

spark-submit 错误

Spark 源码阅读 02：从 Spark-Submit 到 Driver 启动

weixin_43851569的博客

08-29

284

Spark 版本：3.0.0 找到入口理解一个项目最好的切入点就是找到一个入口。比如跟 Spark 的交互方式，如何把任务提交到 Spark 集群。通常使用 spark-submit 脚本来提交任务。它在 Spark 源码的 bin 目录下 bin文件夹中在存放了 spark-shell 等其他入口方式。我们来看一下 spark-submit 的具体内容。可以看到是一个shell脚本，加载的类是 org.apache.spark.deploy.SparkSubmit。 $@ 把执行的参数

Livy任务提交源码解析

qq_27639777的博客

06-01

1158

文章目录简介任务路由代码断任务远程Driver上建立RpcServerLivyServer接收客户端提交代码断任务LivyServer向远程Driver的RpcServer提交任务远程Driver的RpcServer接收任务Driver执行代码断任务Batch任务LivyServer接收batch任务创建BatchSession以提交Spark任务创建SparkYarnApp实例以操作远程Spark任务简介 Livy是基于Spark的开源REST服务，它能够通过REST的方式将代码段或是序列化的二进制代码

LinkedIn Spark-TFRecord partitionBy案例实战

段智华的博客

06-20

669

LinkedIn Spark-TFRecord partitionBy案例实战目录Spark将完全支持TFRecordLinkedIn Spark-TFRecord案例体验Spark-TFRecord partitionBy案例实战 Spark将完全支持TFRecord Spark将完全支持TFRecord LinkedIn Spark-TFRecord案例体验 LinkedIn Spark-TFRecord案例体验 Spark-TFRecord partitionBy案例实战 package spark

Spark利用多线程并发提交多个任务

a805814077的博客

05-28

5327

spark并行提交多个任务的方法

Spark集群设置多Application并行执行

拉格朗日隔壁的二狗子

07-03

2718

Apache Spark on Yarn集群多Application并行执行在工作中遇到向Spark集群提交多个任务，并且这些任务是需要同时执行的。但是遇到很多错误，所以把遇到的问题记录下来。修改hadoop/etc/hadoop/yarn-site.xml文件需要添加的配置<property> <name>yarn.nodemanager.aux-services.spar

Spark之【运行模式、环境搭建】

weixin_45666566的博客

01-16

1021

运行模式1、 Local模式1.1 环境搭建1.2 启动spark-shell1.3 读取文件1.4 应用场景1.2、Spark Standalone模式1.2 启动Local模式 \quad \quadSpark注重建立良好的生态系统，它不仅支持多种外部文件存储系统，也提供了多种多样的集群运行模式。部署在单台机器上时，既可以用本地（Local）模式运行，也可以使用伪分布式模式来运行；当以分布式集群部署的时候，可以根据自己集群的实际情况选择Standalone模式（Spark自带的模式）、Spark on

spark 提交submit任务的shell脚本

qq_41919284的博客

03-22

2264

*sudo -u hdfs /usr/hdp/2.6.5.0-292/spark2/bin/spark-submit –master yarn –deploy-mode cluster –driver-cores 1 –driver-memory 2g –num-executors 3 –executor-memory 1g –executor-cores 1 –class mai...

gitlab启动失败，报runsv no running

AllTheWayQ2Q的博客

02-07

2469

本文场景是自搭建的gitlab，在服务器重启后，gitlab启动失败，并报runsv no running异常

spark集群启动正常，但是提交任务后只有一个节点(slave/worker)参与集群计算

微电子学与固体电子学-俞驰

05-06

3482

#-----------------------------环境如下---------------------------------------------------- 台式机hostname:Desktop 笔记本hostname:Laptop #----------------------------------------------------------------------...

【Spark】spark-submit作业提交及参数设定

同时提交多个spark-submit任务，只有第一个处于running，其他都处于waiting状态（已解决）

问题描述： 同时提交多个spark-submit任务，只有第一个处于running，其他都处于waiting状态

`问题描述：同时提交多个spark-submit任务，只有第一个处于running，其他都处于waiting状态`