spark-submit运行idea生成的jar包无法找到主类

最新推荐文章于 2024-04-07 14:35:49 发布
最新推荐文章于 2024-04-07 14:35:49 发布
阅读量3k 收藏 8
点赞数 4
分类专栏： 大数据 文章标签： spark 大数据 idea
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/neve_give_up_dan/article/details/104193455
版权

背景

我在网上把基本上能找到的方法都试过了，然后追根溯源到了idea搭建spark环境上面，这种搭建教程千奇百怪，各不相同，最终看到一位大佬的操作之后终于找到了我debug 5小时的bug(如题)

解决方案

搭建可以参考Idea本地运行spark，操作HDFS（spark-without-hadoop版的spark）

关键在于打包jar包时的选择
JAR files 来自库

  • 提取到目标JAR – 会生成一个独立的大jar包，无法获取独立程序jar包，因此会产生如题的问题
  • 通过manifest配置文件复制到输出目录 – 这样就不影响我们获取唯一的程序代码jar包文件
    在这里插入图片描述

验证

在这里插入图片描述

参考链接

解决我问题的搭建教程

单林敏
关注
  • 4
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
idea+maven+scala+spark-submit打包上传报ClassNotFoundException，找不自定义的类
qq_44628081的博客
05-22 719
报错原因原因一：maven打包失败，没有加入将scala编译原因二：spark-submit参数写的不对，class后面需要全类名原因三：jar包上传失败，不完整 java.lang.ClassNotFoundException: com.xxx.xxx at java.net.URLClassLoader.findClass(URLClassLoader.java:382) at java.lang.ClassLoader.loadClass(ClassLoader.jav
spark任务scala的jar包无法找到主类
Method.Jiao的博客
10-31 2231
记录一次困扰良久的问题 编译之后运行 无论如何也无法找到主类入口。 死活认不出来，我这个是maven编译的编译标签方法如下 <build> <plugins> <plugin> <artifactId>maven-assembly-plugin</artifactId&g...
IDEA 导出jar无法执行 错误: 找不到或无法加载主类
最新发布
LegendHonor的博客
04-07 840
IDEA 导出jar无法执行 错误: 找不到或无法加载主类 怎么办？
spark-submit提交jar包到集群找不到主类
quitozang的博客
09-04 1万+
报错：java.lang.ClassNotFoundException: Main 解决： 删除与spark集群上已有环境的相关jar包
spark-submit运行jar包报错找不到类的解决方法
qq_43034505的博客
12-25 2382
是打jar包的问题 打包的时候去掉依赖的与集群相关的jar包，只留图片中的就可以
spark-submit碰到的坑（持续更新）
06-24 7943
我的spark部署模式是standalone-cluster，IP分别为：129，130，131，129为Master, 本文主要是将相关配置的注意事项进行记录，相关配置 文件如下： 1、spark-env.sh 2、spark-default.conf(之前报错，配置过，然后又注销掉了） 之前使用spark-shell、spark-submit碰到的异常有以下： 1、dri...
sbt打包Scala写的Spark程序，打包正常，提交运行时提示找不到对应的类
weixin_34033624的博客
01-22 772
sbt打包Scala写的Spark程序，打包正常，提交运行时提示找不到对应的类 详述 使用sbt对写的Spark程序打包，过程中没有问题 spark-submit提交jar包运行提示找不到对应的类 解决 编译环境没有变化，将代码拷贝到其他项目下打包可以运行，无解 偶然发现IDEA打开的sbt文件显示很多错误，查看详情发现存在错误：java-lang-ClassNotFoundExceptio...
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
08-28
9. **开发和调试**: 对于开发者，IDEA、IntelliJ IDEA和Eclipse等集成开发环境有专门的Spark插件，便于代码编写和调试。此外，使用`--master local[*]`可以在本地模式下快速测试代码，而无需连接到集群。 10. **...
spark所需要的scala jar包依赖
10-25
Spark是用Scala编写的，因此Scala的jar包对于运行Spark应用程序至关重要。 Spark与Scala的集成使得开发人员可以利用Scala的函数式编程特性和类型安全，同时在大数据处理场景中享受到Spark的高性能。Scala的jar包包...
sparksql打包运行demo
04-07
参数`--class`指定了主类，`--master`定义了Spark运行模式，`path/to/your/jar.jar`是你的JAR文件路径。 5. **日志和调试** Spark提交作业时，会输出日志信息，帮助追踪任务执行状态和可能出现的问题。在本地运行...
使用IDEA开发Scala程序.docx
06-05
使用Spark的`spark-submit`命令，将打包好的JAR文件提交到Spark集群上运行，实现分布式处理。 除了WordCount程序，实验还涵盖了使用IDEA开发读写MySQL数据库的Scala程序，这涉及到如何与关系型数据库交互，使用...
java提交spark任务到yarn平台的配置讲解共9页
11-21
1. 创建Java项目：使用IDE（如IntelliJ IDEA或Eclipse）创建一个新的Java项目，导入所需的Spark和Hadoop依赖。在`pom.xml`文件中添加以下Maven依赖： ```xml <groupId>org.apache.spark <artifactId>spark-...
spark-submit无法找到主类
qq_45646901的博客
12-14 1035
我想问一下 为什么提交spark-submit任务一直都是显示找不到主类？？？ 救救孩子吧！
spark 错误: 找不到或无法加载主类 com.atguigu.wc.BatchWordCount
weixin_51579912的博客
04-28 624
spark 错误: 找不到或无法加载主类 com.atguigu.wc.BatchWordCount
spark on yarn idea错误: 找不到或无法加载主类org.apache.spark.deploy.yarn.ExecutorLauncher
qq_65303368的博客
02-22 903
设置sparkconf的"spark.yarn.jars"属性后解决第一个为你的jar包名称，第二个为spark依赖的jar包目录。spark on yarn idea远程提交报错，查看8088日志发现。
如何使用intellij搭建spark开发环境（下）
sdujava2011
07-08 1407
本文转自http://www.beanmoon.com/2014/10/11/%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8intellij%E6%90%AD%E5%BB%BAspark%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83%EF%BC%88%E4%B8%8B%EF%BC%89/，所有权力归原作者所有。 （吐槽一句，CSDN这个排版也是...
Intellij IDEA 打包Jar包时（提示错误: 找不到或无法加载主类）
热门推荐
Please_Forgive的博客
07-11 1万+
首先查看提示： 打包过程如下：File -> Project Structure: OK 提交： build完之后就会出现两个目录 如果你是这样打包的jar包的话，就会出现找不到主类的问题。引用一篇文章的解决办法：Intellij IDEA 封装Jar包（提示错误: 找不到或无法加载主类） 那么如何能解决这个问题呢？百度找了很多发现其实配置都不准确，最终发现...
Spark Java程序打包提交找不到类错误
liulu930507的博客
06-12 3255
java写的spark程序，打包时不能带spark-core相关版本的包，打包成JAR以后只能在linux的spark集群中运行spark-submit。本地不能运行。提示来源于如下链接https://bbs.csdn.net/topics/392283234...
idea打包jar包到spark运行
06-28
4. 将生成的jar包上传到Spark集群中。 5. 在Spark集群中运行以下命令： ``` spark-submit --class com.example.Main --master yarn --deploy-mode cluster /path/to/jar ``` 其中，com.example.Main是Main类...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值