spark：一些bug的解决方案 （IDEA & JAVA）

已于 2022-08-04 14:49:33 修改
阅读量563 收藏
点赞数
分类专栏： bug spark java 文章标签： java spark bug
于 2022-07-06 16:31:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45730125/article/details/125642289
版权

org.apache.spark.deploy.yarn.ApplicationMaster

Error: Could not find or load main class org.apache.spark.deploy.yarn.ApplicationMaster

在这里插入图片描述
转自：https://blog.csdn.net/Alex_Sheng_Sea/article/details/86689148

java.lang.UnsupportedClassVersionError:

Exception in thread “main” java.lang.UnsupportedClassVersionError: iceberg/IcebergTest has been compiled by a more recent version of the Java Runtime (class file version 59.0), this version of the Java Runtime only recognizes class file versions up to 52.0

解决： 更换jdk版本（jdk18）
注意：jdk8 跟 jdk18是不一样的
jdk8=5

最低0.47元/天 解锁文章
Re-X
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark：用Scala和Java实现WordCount
03-03
用Scala和Java实现WordCount，其中Java实现的JavaWordCount是spark自带的例子（$SPARK_HOME/examples/src/main/java/org/apache/spark/examples/JavaWordCount.java）OS:RedHatEnterpriseLinuxServerrelease6.4...
idea 新建项目并打包（java，spark）
01-20
在本文中，我们将详细探讨如何使用IntelliJ IDEA（Idea）创建一个新的Java项目，并集成Spark框架进行打包。首先，我们需要了解的是Idea是JetBrains公司开发的一款强大的Java集成开发环境，它支持多种编程语言，包括...
Could not find or load main class org.apache.spark.deploy.yarn.ApplicationMaster
南风知我意
12-26 1566
Spark on Yarn出现Could not find or load main class org.apache.spark.deploy.yarn.ApplicationMaster
Error: Could not find or load main class org.apache.spark.deploy.yarn.ApplicationMaster
热门推荐
Alex_Sheng_Sea的博客
01-29 1万+
今天搭建了一个sparkOnYarn的集群，我想测试一下集群是否正常，使用spark自带蒙特卡罗求圆周率的算法包，但是执行报错 执行命令： bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn --deploy-mode cluster \ --executor-memory 1G \ --...
Error: Could not find or load main class org.apache.spark.deploy.yarn.ExecutorLauncher
微电子学与固体电子学-俞驰
07-22 3554
①查http://desktop:8088/cluster/scheduler 中的进度条有没有爆满，如果爆满了是上次提交的任务没清除占用空间了，先释放再说 ② cd $SPARK_HOME_HOME grep -rspark.yarn.jars conf/spark-defaults.conf:spark.yarn.jars hdfs://Desktop:9000/spark/jars/*.jar hdfs dfs -mkdir hdfs://Desktop:9000/spark hdfs dfs .
spark2.2.1中 spark.yarn.jars | spark.yarn.archive的正确配置
Gamedev
02-09 4575
【ERROR】 错误: 找不到或无法加载主类 org.apache.spark.deploy.yarn.ExecutorLauncher End Could not find or load main class org.apache.spark.deploy.yarn.ExecutorLauncher Application failed 2 times due to AM Containe...
spark standalone启动报错 Error: Could not find or load main class org.apache.spark.deploy.worker.Worker
最新发布
日常学习与专研的记录
03-26 356
解决报错：Error: Could not find or load main class org.apache.spark.deploy.worker.Worker node10: failed to launch: nice -n 0 /xxx/bin/spark-class org.apache.spark.deploy.worke
ApacheSpark：大数据时代的终极解决方案.docx
10-26
Apache Spark 是大数据领域的一个核心工具，它为处理大规模数据提供了高效、快速的解决方案。Spark 是在 Hadoop MapReduce 的基础上发展起来的，旨在解决 MapReduce 在处理迭代计算和实时分析时效率低下的问题。它的...
java8-spark:Apache Spark 和 Java 8 流 API
06-08
标题中的“java8-spark”指的是一个项目或者教程，它结合了Apache Spark和Java 8的新特性，特别是Java 8的流API。Apache Spark是一个快速、通用且可扩展的大数据处理框架，而Java 8的流API则为处理集合数据提供了...
数据开发常见问题
qq_36864672的博客
05-04 1135
登录集群的Master节点，详情请参见登录集群。进入配置模板的目录。本示例以HUE为例：HUE表示服务的目录。4.4.0.3.1为Hue的版本。hue.ini为配置文件。执行以下命令，添加您需要的配置。当配置项已存在时，您可以根据时间情况修改参数值。在E-MapReduce控制台，重启服务以生效配置。
Spark启动失败 Error initializing SparkContext | FileNotFoundException
qq_56335560的博客
04-12 1505
在启动spark-shell时，无法初始化，hdfs上没有对应的日志存放目录，但是hdfs陷入安全模式无法关闭，只能删除所有集群上的所有数据和日志，格式化hdfs，手动创建spark要求的目录。
大数据开发之Spark篇----解决Spark on Yarn上的一个小问题
weixin_39702831的博客
12-27 3631
在我们使用Spark on Yarn的时候都会看到这样的一句：warning Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME. Ps：解释一下这幅图为什么这样啊，是因为我们内存不够了，所以才这样的，并不影响我们解决问题的 既然提示...
spark执行优化——依赖上传到HDFS(spark.yarn.jar和spark.yarn.archive的使用)
OMars的博客
12-01 6762
一、简述 使用yarn的方式提交spark应用时，在没有配置spark.yarn.archive或者spark.yarn.jars时， 看到输出的日志在输出Neither spark.yarn.jars nor spark.yarn.archive is set；一段指令后，会看到不停地上传本地jar到HDFS上，内容如下，这个过程会非常耗时。可以通过在spark-defaults.conf配置里添加spark.yarn.archive或spark.yarn.jars来缩小spark应用的启动时间。 Wi
linux启动spark命令,linux环境下，使用local模式启动spark时报找不到主类
weixin_36213943的博客
04-29 502
报错信息是：Error: Could not find or load main class org.apache.spark.launcher.Mainspark环境说明：(SPARK_HOME环境变量中我尝试了自己编译的和网上下载的，都报同一个错误)spark-2.1.0-bin-2.6.0-cdh5.7.0 这个包是从网上下载的，spark-2.4.3-bin-hadoop-2.6.0-cd...
hadoop错误找不到或无法加载主类
weixin_45341014的博客
07-27 2854
无法加载主类log
Yarn application has already ended! It might have been killed or unable to launch application master
AntKengElephant的博客
12-30 1127
spark-shell启动报错：Yarn application has already ended! It might have been killed or unable to launch application master 查看日志报错： “Error: Could not find or load main class org.apache.spark.deploy.yarn...
User class threw exception: org.apache.spark.SparkException: Task not serializable问题解决
LZX的博客
02-22 3018
问题描述： 计划将sparksql查询结果数据通过alibaba.druid.pool.存入mysql，结果报错序列化问题 User class threw exception: org.apache.spark.SparkException: Task not serializable at org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:345) at org.apache.spark.util
spark常见报错汇总
m0_48778644的博客
12-24 1220
持续更新ing… Heap oom Spark程序本质上是一个分布式的jvm应用, 因此当内存设置不合理，内存有泄露，使用不当或者内存管理不够好的时候容易出现java heap oom Driver heap oom 在Driver的日志中发现有OutOfMemoryError相关的日志，说明是driver oom导致作业失败，常见错误有 java.lang.OutOfMemoryError: Java heap space at java.lang.OutOfMemoryError: GC overhe
spark-shell启动报错解决办法
hsg77的专栏
01-03 4889
spark-shell启动报错解决办法: scala版本不兼容问题 这是因为加入了项目依赖库到/usr/cwgis/app/spark/jars/lib/中 删除相关的scala开头的jar文件即可启动spark-shell [root@node111 ~]# runCmd.sh "rm /usr/cwgis/app/spark/jars/lib/scala*.jar" all ...
Error: Could not find or load main class fs
07-27
根据提供的引用内容，错误信息"Error: Could not find or load main class fs"可能是由于缺少或无法加载主类fs导致的。然而，在提供的引用内容中没有找到与此错误相关的具体解决方法。建议您检查您的代码或配置文件中是否正确指定了主类fs，并确保该类在您的环境中可用。如果问题仍然存在，您可以尝试在相关的配置文件或命令中进行进一步的调试和排查。 #### 引用[.reference_title] - *1* [Error: Could not find or load main class org.apache.hadoop.fs.FsShell](https://blog.csdn.net/xuezhisdc/article/details/77565864)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [hbase 启动 Error: Could not find or load main class org.apache.hadoop.hbase.util.HBaseConfTool](https://blog.csdn.net/aagwpsh7758/article/details/101957177)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [Error: Could not find or load main class org.apache.spark.deploy.yarn.ApplicationMaster](https://blog.csdn.net/Alex_Sheng_Sea/article/details/86689148)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值