spark-submit运行idea生成的jar包无法找到主类

最新推荐文章于 2023-04-28 20:23:32 发布
最新推荐文章于 2023-04-28 20:23:32 发布
阅读量3.1k 收藏 8
点赞数 4
分类专栏： 大数据 文章标签： spark 大数据 idea
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/neve_give_up_dan/article/details/104193455
版权

背景

我在网上把基本上能找到的方法都试过了，然后追根溯源到了idea搭建spark环境上面，这种搭建教程千奇百怪，各不相同，最终看到一位大佬的操作之后终于找到了我debug 5小时的bug(如题)

解决方案

搭建可以参考Idea本地运行spark，操作HDFS（spark-without-hadoop版的spark）

关键在于打包jar包时的选择
JAR files 来自库

  • 提取到目标JAR – 会生成一个独立的大jar包，无法获取独立程序jar包，因此会产生如题的问题
  • 通过manifest配置文件复制到输出目录 – 这样就不影响我们获取唯一的程序代码jar包文件
    在这里插入图片描述

验证

在这里插入图片描述

参考链接

解决我问题的搭建教程

spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
08-28
9. **开发和调试**: 对于开发者，IDEA、IntelliJ IDEA和Eclipse等集成开发环境有专门的Spark插件，便于代码编写和调试。此外，使用`--master local[*]`可以在本地模式下快速测试代码，而无需连接到集群。 10. **...
spark-submit提交jar包到集群找不到主类
quitozang的博客
09-04 1万+
报错：java.lang.ClassNotFoundException: Main 解决： 删除与spark集群上已有环境的相关jar包
idea+maven+scala+spark-submit打包上传报ClassNotFoundException，找不自定义的类
qq_44628081的博客
05-22 827
报错原因原因一：maven打包失败，没有加入将scala编译原因二：spark-submit参数写的不对，class后面需要全类名原因三：jar包上传失败，不完整 java.lang.ClassNotFoundException: com.xxx.xxx at java.net.URLClassLoader.findClass(URLClassLoader.java:382) at java.lang.ClassLoader.loadClass(ClassLoader.jav
spark-submit运行jar包报错找不到类的解决方法
qq_43034505的博客
12-25 2504
是打jar包的问题 打包的时候去掉依赖的与集群相关的jar包，只留图片中的就可以
spark-submit碰到的坑（持续更新）
06-24 8167
我的spark部署模式是standalone-cluster，IP分别为：129，130，131，129为Master, 本文主要是将相关配置的注意事项进行记录，相关配置 文件如下： 1、spark-env.sh 2、spark-default.conf(之前报错，配置过，然后又注销掉了） 之前使用spark-shell、spark-submit碰到的异常有以下： 1、dri...
sbt打包Scala写的Spark程序，打包正常，提交运行时提示找不到对应的类
weixin_34033624的博客
01-22 801
sbt打包Scala写的Spark程序，打包正常，提交运行时提示找不到对应的类 详述 使用sbt对写的Spark程序打包，过程中没有问题 spark-submit提交jar包运行提示找不到对应的类 解决 编译环境没有变化，将代码拷贝到其他项目下打包可以运行，无解 偶然发现IDEA打开的sbt文件显示很多错误，查看详情发现存在错误：java-lang-ClassNotFoundExceptio...
spark-submit无法找到主类
qq_45646901的博客
12-14 1102
我想问一下 为什么提交spark-submit任务一直都是显示找不到主类？？？ 救救孩子吧！
(word完整版)windows下非submit-方式运行spark-on-yarn(CDH集群).doc
10-24
- 在IDEA中，可以通过配置远程运行或调试配置，指定YARN的运行参数，如主类、JAR包位置、YARN配置等，然后直接在IDEA中启动应用。 6. **提交应用**： - 虽然不使用`spark-submit`命令，但在IDEA中，可以通过模拟`...
idea 新建项目并打包（java，spark）
01-20
在本文中，我们将详细探讨如何使用IntelliJ IDEA（Idea）创建一个新的Java项目，并集成Spark框架进行打包。首先，我们需要了解的是Idea是JetBrains公司开发的一款强大的Java集成开发环境，它支持多种编程语言，包括...
spark 错误: 找不到或无法加载主类 com.atguigu.wc.BatchWordCount
weixin_51579912的博客
04-28 739
spark 错误: 找不到或无法加载主类 com.atguigu.wc.BatchWordCount
spark on yarn idea错误: 找不到或无法加载主类org.apache.spark.deploy.yarn.ExecutorLauncher
qq_65303368的博客
02-22 1132
设置sparkconf的"spark.yarn.jars"属性后解决第一个为你的jar包名称，第二个为spark依赖的jar包目录。spark on yarn idea远程提交报错，查看8088日志发现。
如何使用intellij搭建spark开发环境（下）
sdujava2011
07-08 1438
本文转自http://www.beanmoon.com/2014/10/11/%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8intellij%E6%90%AD%E5%BB%BAspark%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83%EF%BC%88%E4%B8%8B%EF%BC%89/，所有权力归原作者所有。 （吐槽一句，CSDN这个排版也是...
spark任务scala的jar包无法找到主类
Method.Jiao的博客
10-31 2316
记录一次困扰良久的问题 编译之后运行 无论如何也无法找到主类入口。 死活认不出来，我这个是maven编译的编译标签方法如下 <build> <plugins> <plugin> <artifactId>maven-assembly-plugin</artifactId&g...
Intellij IDEA 打包Jar包时（提示错误: 找不到或无法加载主类）
热门推荐
Please_Forgive的博客
07-11 1万+
首先查看提示： 打包过程如下：File -> Project Structure: OK 提交： build完之后就会出现两个目录 如果你是这样打包的jar包的话，就会出现找不到主类的问题。引用一篇文章的解决办法：Intellij IDEA 封装Jar包（提示错误: 找不到或无法加载主类） 那么如何能解决这个问题呢？百度找了很多发现其实配置都不准确，最终发现...
Spark Java程序打包提交找不到类错误
liulu930507的博客
06-12 3297
java写的spark程序，打包时不能带spark-core相关版本的包，打包成JAR以后只能在linux的spark集群中运行spark-submit。本地不能运行。提示来源于如下链接https://bbs.csdn.net/topics/392283234...
spark程序提交集群，找不到类的错误
谁说大象不能跳舞
03-13 3349
1.创建工程，编译一个项目 如果出现这种错误，这个错误是由于Junit版本造成的，可以删掉Test，和pom.xml文件中Junit的相关依赖， 即删掉这两个Scala类：和pom.xml文件中的Junit依赖 刷新Maven依赖 2.写pom文件 &lt;?xml version="1.0" encoding="UTF-8"?&gt; &lt;project xmlns="http://...
idea打包jar包到spark运行
最新发布
06-28
### 回答1： 1. 首先，需要在IDE中创建一个Maven项目，并添加Spark依赖。 2. 在项目中创建一个Main类，并编写Spark程序。 3. 在IDE中打包项目，生成一个jar包。 4. 将生成的jar包上传到Spark集群中。 5. 在Spark集群中运行以下命令： ``` spark-submit --class com.example.Main --master yarn --deploy-mode cluster /path/to/jar ``` 其中，com.example.Main是Main类的完整路径，/path/to/jar是jar包的路径。 6. 等待程序运行完成，查看输出结果。 ### 回答2： 将idea中的java项目打包成一个可执行的jar包，可以方便地在spark集群中运行。实现步骤如下： 1.在idea中，选中项目右击，点击“Open Module Setting”打开模块设置。 2.进入模块设置界面，点击左侧菜单中的“Artifacts”，然后点击“+”号添加一个新的Artifact。 3.选择“Jar”类型，填写Artifact的名称和输出路径。 4.定义Artifact所需要打包的内容，如项目中使用的外部库、资源文件和自身编写的类等。在“Output Layout”界面中进行规划和配置。 5.将Artifact设置为“Build on make”，以便在每次编译时自动打包。 6.完成Artifact设置后，点击“OK”保存配置，然后再次右键点击项目，选择“Build Artifact” -> 要打包的Artifact名字 -> “Build”。 7.成功完成打包后，可以在指定输出路径中找到生成的jar包。 8.在spark集群中调用该jar包，使用“spark-submit”命令提交任务，并指定jar包路径和主函数类名。例如： $ spark-submit --class com.example.Main --master spark://master:7077 myproject.jar 有了打包好的jar包，可以方便地在不同的机器上运行spark任务，而且能够有效地减少开发者的工作量和提高程序的可维护性和重用性。 ### 回答3： 在将 IDEA 项目打包为 JAR 文件并在 Spark 上运行之前，我们需要先了解一些基本概念和步骤。 首先需要明确的是，Spark是一个分布式计算框架，它的运行需要一个集群环境，而 JAR 文件则是一种可执行程序文件，是用来包含所有依赖的文件和代码。 因此，在将 IDEA 项目打包为 JAR 文件之前，需要确保你已经搭建好了 Spark 集群环境，并且在项目中引入了必要的 Spark 依赖。 接下来，我们可以按照以下步骤将 IDEA 项目打包为 JAR 文件： 1. 在 IDEA 中选择项目 → 打包 → 打包为 JAR 文件。 2. 在弹出的窗口中选择所需的设置，包括打包的模块、存放路径、依赖项等等。此外，还需要指定启动类（即包含 main 方法的类）。 3. 点击“打包”按钮，即可生成 JAR 文件。 4. 将生成的 JAR 文件上传到 Spark 集群中的某个节点（比如 master 节点），同时确保所有依赖包都已正确安装。 最后，我们可以通过以下命令在 Spark 上运行 JAR 文件： ``` spark-submit --class <main-class> --master <master-url> <path-to-jar> [args] ``` 其中，<main-class> 表示启动类的完整类名，<master-url> 表示 Spark 集群的主节点 URL，<path-to-jar> 表示 JAR 文件在节点上的路径，[args] 表示可选的运行参数。 总之，将 IDEA 项目打包为 JAR 文件并在 Spark 上运行，需要确保正确搭建集群环境和引入必要的依赖，以及熟悉打包和运行命令的使用方法。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值