Could not find or load main class org.apache.spark.deploy.yarn.ApplicationMaster

最新推荐文章于 2024-03-26 17:38:33 发布

weixin_30507481

最新推荐文章于 2024-03-26 17:38:33 发布

阅读量1.7k

点赞数

文章标签：大数据 java

原文链接：http://www.cnblogs.com/suanec/p/9208357.html

版权

Spark YARN Cluster mode get this error    

“Could not find or load main class org.apache.spark.deploy.yarn.ApplicationMaster”

spark.yarn.jars
spark.yarn.archive
配置错误可能会导致此问题

/tmp/spark-80645695-04d9-4801-b119-bf526e903334/__spark_libs__5482901671928622840.zip -> hdfs://WBMLP-cluster/user/feed_weibo/.sparkStaging/application_1512633771221_0309/__spark_libs__5482901671928622840.zip

转载于:https://www.cnblogs.com/suanec/p/9208357.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_30507481

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Error: Could not find or load main class org.apache.spark.deploy.yarn.ApplicationMaster

Alex_Sheng_Sea的博客

01-29

1万+

今天搭建了一个sparkOnYarn的集群，我想测试一下集群是否正常，使用spark自带蒙特卡罗求圆周率的算法包，但是执行报错执行命令： bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn --deploy-mode cluster \ --executor-memory 1G \ --...

Spark on Yarn分析

weixin_43326165的博客

11-28

243

Spark所有的任务，都是由Spark-submit来提交的。所以我们从这个类看起。 SparkSubmit override def main(args: Array[String]): Unit = { //配置启动参数 val appArgs = new SparkSubmitArguments(args) //是否打印参数，我们不用在意这个 if (appA...

参与评论您还未登录，请先登录后发表或查看评论

4、利用hadoop自带的mr 示例测试运行任务失败: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRA...

Norni的博客

09-16

266

Error: Could not find or load main class org.apache.spark.deploy.yarn.ExecutorLauncher

微电子学与固体电子学-俞驰

07-22

3638

①查http://desktop:8088/cluster/scheduler 中的进度条有没有爆满，如果爆满了是上次提交的任务没清除占用空间了，先释放再说 ② cd $SPARK_HOME_HOME grep -rspark.yarn.jars conf/spark-defaults.conf:spark.yarn.jars hdfs://Desktop:9000/spark/jars/*.jar hdfs dfs -mkdir hdfs://Desktop:9000/spark hdfs dfs .

spark standalone启动报错 Error: Could not find or load main class org.apache.spark.deploy.worker.Worker

最新发布

日常学习与专研的记录

03-26

462

解决报错：Error: Could not find or load main class org.apache.spark.deploy.worker.Worker node10: failed to launch: nice -n 0 /xxx/bin/spark-class org.apache.spark.deploy.worke

linux启动spark命令,linux环境下，使用local模式启动spark时报找不到主类

weixin_36213943的博客

04-29

555

报错信息是：Error: Could not find or load main class org.apache.spark.launcher.Mainspark环境说明：(SPARK_HOME环境变量中我尝试了自己编译的和网上下载的，都报同一个错误)spark-2.1.0-bin-2.6.0-cdh5.7.0 这个包是从网上下载的，spark-2.4.3-bin-hadoop-2.6.0-cd...

spark：一些bug的解决方案（IDEA & JAVA）

weixin_45730125的博客

07-06

636

spark（java）一些bug的解决方案

Error: Could not find or load main class fs

07-27

- *3* [Error: Could not find or load main class org.apache.spark.deploy.yarn.ApplicationMaster](https://blog.csdn.net/Alex_Sheng_Sea/article/details/86689148)[target="_blank" data-report-click={"spm":...

cdh运行spark2-shell，hive异常处理

qq_31108731的博客

10-30

1185

1、Cause: java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask ; Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.ha...

Spark内核解析(一) Spark向Yarn提交应用(源码解析)

Sarahdsy的博客

06-17

2152

文章目录Spark内核解析(一) Spark向Yarn提交应用(源码解析)执行脚本提交任务执行提交操作解析参数提交使用提交的参数，运行child class的main方法准备提交环境通过类名加载这个类反射创建类的对象并进行类型转换运行childMainClass的start方法运行YarnClusterApplication封装参数创建客户端对象运行 - 提交应用配置JVM的启动参数向Yarn提交应用运行ApplicationMaster启动用户的应用线程阻塞，等待对象(SparkContext)的返回注册

Spark常见问题解决-日志和排查办法

someInNeed的博客

01-25

500

（3）查看是否任务参数设置不合理，例如executor-memory是设的大，但是--num-executors设置的很少才几十个，可以根据集群情况和业务量大小合理增大executor数，数量判断标准是一个executor的CPU core同一时刻尽量只处理一个HDFS block的数据（如128或256M），在没有设置--executor-cores等参数的情况下，默认一个executor包含一个CPU core。elasticsearch-hadoop使用的就是HTTP方式连接的ES集群。

Spark源码解析-Yarn部署流程（ApplicationMaster）

越是学习的人，越能清醒地认识自身的局限，不断拓宽自己的路

10-13

971

Spark源码解析-Yarn部署流程（ApplicationMaster）可微信搜索知了小巷，关注公众号支持一下，谢谢。另外，公众号后台回复资料，可领取大数据2020学习视频资料。前文【Spark源码解析Yarn部署流程（SparkSubmit）】中 createContainerLaunchContext 用来运行ApplicationMaster。主要调用是在： yarnClient.submitApplication(appContext)。 RM：ResourceManager。

hadoop 报错：Error: Could not find or load main class

热门推荐

张青志的专栏

12-13

3万+

Error: Could not find or load main class 报这个错是因为当前运行的 .class 文件不在 hadoop-env.sh文件中 export HADOOP_CLASSPATH=${HADOOP_HOME}//你运行的*.class 文件所在路径 [john@localhost ch02]$ ls input output po

Hadoop错误解决（一）Could not find or load main class

qq_45981158的博客

06-01

2806

Error: Could not find or load main class.org.apache.hadoop.mapreduce.v2.app.MRAppMaste 解决方法： yarn-site.xml中加入以下代码 <property> <name>yarn.application.classpath</name>

2. spark源码分析（基于yarn cluster模式）-YARN client启动，提交ApplicationMaster

LeoHan

10-20

457

通过上一节的研究，我们发现，spark提交任务后，启动了org.apache.spark.deploy.yarn.Client.run()方法，这里实际上就是spark利用yanr的客户端API在向YARN提交任务了，接下来我们一起来分析这个过程： def run(): Unit = { this.appId = submitApplication() if (!launcherBackend.isConnected() && fireAndForget) { v

spark-yarn源码分析之submitApplication与run ApplicationMaster

lzf的博客

07-01

655

概述启动ApplicationMaster进程的方式是：调用org.apache.spark.deploy.yarn.ApplicationMaster的main方法。 submitApplication 方法流程如下： 1、verifyClusterResources()：校验yarn集群在分配一个container时是否有足够的内存资源分配给executor memory和AM m...

大数据开发之Spark篇----解决Spark on Yarn上的一个小问题

weixin_39702831的博客

12-27

3785

在我们使用Spark on Yarn的时候都会看到这样的一句：warning Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME. Ps：解释一下这幅图为什么这样啊，是因为我们内存不够了，所以才这样的，并不影响我们解决问题的既然提示...

Spark源码精读之 ApplicationMaster

不积跬步无以至千里

03-14

447

Spark版本：V2.3.2。