spark on yarn idea错误: 找不到或无法加载主类org.apache.spark.deploy.yarn.ExecutorLauncher

已于 2023-02-22 11:30:58 修改
阅读量820 收藏
点赞数
分类专栏： bug 文章标签： spark 大数据 intellij-idea yarn Powered by 金山文档
于 2023-02-22 11:29:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_65303368/article/details/129158371
版权

  • spark on yarn idea远程提交报错，查看8088日志发现

  • 设置sparkconf的"spark.yarn.jars"属性后解决第一个为你的jar包名称，第二个为spark依赖的jar包目录

.set("spark.yarn.jars", "C:\\Users\\han\\Desktop\\test\\dns_project\\target\\dns_project.jar,hdfs://dsy:9000/spark-yarn/jars/*.jar")

重新运行后成功解决，虽然报了其他错... 但总算找到了类

一位不愿透露姓名的肥宅
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【hive on spark Error】return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.
01-07
ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. 前言报错信息异常分析配置改动后记 前言 在成功消除Cloudare管理界面上那些可恶的警告之后，我又对yarn的一些参数进行调优，最后重启了集群。当我提个任务（spark on yarn）并且看到并发及资源的分配情况正如自己先前所料的时候，我长舒了一口气，端起杯子拿上手机起身打算去接杯水消遣一下。 然而我一杯温水接完凑在嘴边，眼睛扫了一下手机刚打算痛饮一番的时候，同事在群里惊呼报错的消息就
Spark实验：On Yarn模式安装部署（带答案）1
08-03
1. 解压Spark安装包 2. 配置Hadoop生态组件相关环境变量 2. 在 master 节点上，关闭HDFS的安全模式： 3. 在 master 节点上
找不到类 提交任务_spark任务调度原理
weixin_32199821的博客
01-14 183
介绍Spark的作业和任务调度系统是核心，它能够有效的进行调度的原因是对任务的划分DAG和容错，使得它对底层到顶层的各个模块之间的调用和处理显得游刃有余。JOB：RDD中由行动操作产生的一个或多个调度阶段；调度阶段（stage）：每个作业会因为RDD之间的依赖拆分为多组任务集合，称为调度阶段，也叫任务集。调度阶段的划分是由DAGScheduler来划分。任务（task）：分发到Executor上的...
 spark代码类打包上传到yarn集群运行出错：找不到类
东城庞太师
03-20 1015
spark打包上传到yarn集群运行出错：找不到类 原因：可能是依赖有问题，导致最终找不到类
提交Spark应用的若干问题记录（sparklauncher with cluster deploy mode）
Shion's bla bla blog
01-10 1619
Finally sparklauncher with cluster deploy mode to Yarn is OK on Linux.
spark 错误: 找不到或无法加载主类 com.atguigu.wc.BatchWordCount
weixin_51579912的博客
04-28 576
spark 错误: 找不到或无法加载主类 com.atguigu.wc.BatchWordCount
Error: Could not find or load main class org.apache.spark.deploy.yarn.ExecutorLauncher
微电子学与固体电子学-俞驰
07-22 3480
①查http://desktop:8088/cluster/scheduler 中的进度条有没有爆满，如果爆满了是上次提交的任务没清除占用空间了，先释放再说 ② cd $SPARK_HOME_HOME grep -rspark.yarn.jars conf/spark-defaults.conf:spark.yarn.jars hdfs://Desktop:9000/spark/jars/*.jar hdfs dfs -mkdir hdfs://Desktop:9000/spark hdfs dfs .
Scala调用Spark工具包出现错误: 找不到或无法加载主类
我在深圳的这些日子的博客
09-01 4097
使用IDEA编辑器搭建spark框架的时候，可能会遇上“找不到或无法加载主类”的问题。搜索出现此类情况的错误，不难发现网上很多信息指出这是因为混合了java 和scala，造成了不编译。但是，如果有使用他们的解决方法，还是失效的小伙伴们，那么可以试试我的办法。 注：Scala版本为2.11.12；Java版本为1.8；Spark版本为2.1.0；系统是MAC OS。 首先检查Scala的配置“File -> Project Structure…” 1）检查了"Platform Settings "项目
Scala调用Spark工具包出现错误: 找不到或无法加载主类（eclipse篇）
qq_36249132的博客
08-08 773
idea问题请参考这篇文章 https://blog.csdn.net/llh_1178/article/details/88744738 使用eclipse编辑器搭建spark框架的时候，可能会遇上“找不到或无法加载主类”的问题。搜索出现此类情况的错误，不难发现网上很多信息指出这是因为混合了java 和scala，造成了不编译。 如图： 是因为Scala版本问题导致（我的是这个问题） 再次运行，成功 ...
yarn 错误 找不到或无法加载主类 install
qq_43203949的博客
07-18 1881
使用yarnpkg代替。
基于docker搭建spark-on-yarn及可视化桌面.docx
最新发布
01-16
docker
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
10-28
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
Spark on Yarn模式部署.docx
10-03
Spark on Yarn模式部署.docx
spark yarn模式的搭建.docx
06-15
Spark On Yarn完全分布式集群环境搭建文档。 分为如下几部分： 1、环境的准备; 2、Zookeeper完全分布式搭建; 3、Hadoop2.0 HA集群搭建步骤介绍; 4、Spark On Yarn搭建介绍; 5、集群启动介绍; 最新最全的java培训视频...
rocketmq-dashboard源码以及使用maven打包时缺失包yarn-1.22.10.tar.gz
01-05
rocketmq dashboard监控页面的github源码下载，最后一次提交节点的sha:6456630324e3ff22217a6da221a64c09bea82a72。官方地址为：https://github.com/apache/rocketmq-dashboard
03_MapReduce 和Spark on YARN.docx
02-24
■ 计算框架在Hadoop 中的作用 ■ YARN 的设计目的和基本架构 ...■ Apache Spark 概念 ■ YARN 如何分配集群资源 ■ YARN 如何处理故障 ■ 如何查看和管理YARN 应用程序 ■ 如何访问YARN 应用程序日志
DataXServer：为DataX（https：github.comalibabaDataX）提供远程多语言调用（ThriftServer，HttpServer）分布式运行（YARN上的DataX）功能
02-03
混合模式运行（Yarn +多进程模式运行） 自动伸缩 去做 1.Http服务器 2.代码重构 3.按照功能类型分解到多个子项目中重新组织包名方便后续补充功能 4.完善文档示例 部署 下载发布包并解压进入0.0.1目录 启动节俭服务器...
yarn-v0.23.2.tar.gz
07-22
yarn-v0.23.2.tar.gz 在安装ambari,源码编译的时候下载的文件有问题 手动下载 地址 https://github.com/yarnpkg/yarn/releases/download/v0.23.2/yarn-v0.23.2.tar.gz
yarn1.22.4与1.22.5最新安装包windows
09-02
yarn1.22.4与1.22.5最新安装包windows
错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.mrappmaster
08-27
### 回答1： 这个错误消息表明程序在运行时找不到类 org.apache.hadoop.mapreduce.v2.app.mrappmaster。这可能是因为缺少必要的Hadoop库或配置问题导致的。建议检查程序的classpath是否包含所有必需的Hadoop库，并确保Hadoop配置正确。 ### 回答2： 错误原因是无法找到或加载主类org.apache.hadoop.mapreduce.v2.app.mrappmaster。这个错误通常是因为Hadoop MapReduce框架的应用程序主类未被正确设置或无法找到。 解决这个问题的方法如下： 1. 确认Hadoop的安装和配置是否正确。检查Hadoop的环境变量是否正确设置，并且Hadoop的相关配置文件是否正确。 2. 确认代码是否被正确编译并打包为JAR文件。确保应用程序主类org.apache.hadoop.mapreduce.v2.app.mrappmaster是否正确编译，并且在运行时能够被正确加载。 3. 检查应用程序的启动命令是否正确。确保在运行应用程序时，命令行参数正确设置，并且指定了正确的主类。 4. 检查应用程序的依赖是否正确。如果应用程序依赖其他的外部库，确保这些库已正确添加到应用程序的类路径中。 5. 检查Hadoop集群的运行状态。如果Hadoop集群没有正确运行或配置问题，可能会导致无法加载主类的错误。 综上所述，错误"找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.mrappmaster"的解决方法包括检查Hadoop的安装和配置、代码的编译和打包、应用程序的启动命令、依赖和集群的运行状态等方面。通过仔细检查这些方面，可以解决这个错误并正常运行MapReduce应用程序。 ### 回答3： 错误信息显示找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.mrappmaster。 这通常是由于缺少相应的依赖库或配置问题导致的。请按照以下步骤检查和解决该问题： 1. 检查Hadoop的版本和安装：首先确保已正确安装并配置了适当的Hadoop版本。请检查Hadoop的安装文件夹和环境变量设置是否正确。 2. 检查依赖库：确保您的应用程序或脚本中包含了正确的Hadoop依赖库。请检查您的项目配置文件（如pom.xml或build.gradle）以确保已正确包含了mapreduce相关的依赖库。 3. 检查类路径：确认您的类路径（classpath）中包含了Hadoop相关的jar文件。可以通过在命令行中显示类路径来验证类路径是否正确设置。 4. 检查配置文件：查看您的Hadoop配置文件（如core-site.xml、mapred-site.xml和yarn-site.xml）是否正确配置了必要的参数。特别是，确保mapreduce.framework.name属性正确设置为yarn。 5. 检查日志文件：查看Hadoop的日志文件（如hadoop-mapreduce-historyserver.log）以获取更多关于错误的详细信息。在日志中搜索“Error”或“Exception”等关键词，以找到可能导致问题的具体原因。 如果您尝试了以上步骤但问题依然存在，可以尝试重新安装Hadoop或联系Hadoop的支持团队获取更专业的帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值