spark-submit运行idea生成的jar包无法找到主类

最新推荐文章于 2023-04-28 20:23:32 发布
最新推荐文章于 2023-04-28 20:23:32 发布
阅读量3k 收藏 8
点赞数 4
分类专栏： 大数据 文章标签： spark 大数据 idea
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/neve_give_up_dan/article/details/104193455
版权

背景

我在网上把基本上能找到的方法都试过了，然后追根溯源到了idea搭建spark环境上面，这种搭建教程千奇百怪，各不相同，最终看到一位大佬的操作之后终于找到了我debug 5小时的bug(如题)

解决方案

搭建可以参考Idea本地运行spark，操作HDFS（spark-without-hadoop版的spark）

关键在于打包jar包时的选择
JAR files 来自库

  • 提取到目标JAR – 会生成一个独立的大jar包，无法获取独立程序jar包，因此会产生如题的问题
  • 通过manifest配置文件复制到输出目录 – 这样就不影响我们获取唯一的程序代码jar包文件
    在这里插入图片描述

验证

在这里插入图片描述

参考链接

解决我问题的搭建教程

单林敏
关注
  • 4
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
spark on yarn idea错误: 找不到或无法加载主类org.apache.spark.deploy.yarn.ExecutorLauncher
qq_65303368的博客
02-22 913
设置sparkconf的"spark.yarn.jars"属性后解决第一个为你的jar包名称，第二个为spark依赖的jar包目录。spark on yarn idea远程提交报错，查看8088日志发现。
spark-submit提交jar包到集群找不到主类
quitozang的博客
09-04 1万+
报错：java.lang.ClassNotFoundException: Main 解决： 删除与spark集群上已有环境的相关jar包
spark-submit无法找到主类
qq_45646901的博客
12-14 1040
我想问一下 为什么提交spark-submit任务一直都是显示找不到主类？？？ 救救孩子吧！
spark 错误: 找不到或无法加载主类 com.atguigu.wc.BatchWordCount
weixin_51579912的博客
04-28 636
spark 错误: 找不到或无法加载主类 com.atguigu.wc.BatchWordCount
eclipse运行spark出现找不到主类的问题
midsummer
07-15 1202
出现问题的原因是spark和Scala版本不符合 我的spark是2.1.1 所以项目右键选自properties改scala compiler 为scala2.11.8
spark任务scala的jar包无法找到主类
Method.Jiao的博客
10-31 2239
记录一次困扰良久的问题 编译之后运行 无论如何也无法找到主类入口。 死活认不出来，我这个是maven编译的编译标签方法如下 <build> <plugins> <plugin> <artifactId>maven-assembly-plugin</artifactId&g...
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
最新发布
08-28
9. **开发和调试**: 对于开发者，IDEA、IntelliJ IDEA和Eclipse等集成开发环境有专门的Spark插件，便于代码编写和调试。此外，使用`--master local[*]`可以在本地模式下快速测试代码，而无需连接到集群。 10. **...
(word完整版)windows下非submit-方式运行spark-on-yarn(CDH集群).doc
10-24
- 在IDEA中，可以通过配置远程运行或调试配置，指定YARN的运行参数，如主类、JAR包位置、YARN配置等，然后直接在IDEA中启动应用。 6. **提交应用**： - 虽然不使用`spark-submit`命令，但在IDEA中，可以通过模拟`...
idea 新建项目并打包（java，spark）
01-20
在本文中，我们将详细探讨如何使用IntelliJ IDEA（Idea）创建一个新的Java项目，并集成Spark框架进行打包。首先，我们需要了解的是Idea是JetBrains公司开发的一款强大的Java集成开发环境，它支持多种编程语言，包括...
spark所需要的scala jar包依赖
10-25
Spark是用Scala编写的，因此Scala的jar包对于运行Spark应用程序至关重要。 Spark与Scala的集成使得开发人员可以利用Scala的函数式编程特性和类型安全，同时在大数据处理场景中享受到Spark的高性能。Scala的jar包包...
sparksql打包运行demo
04-07
参数`--class`指定了主类，`--master`定义了Spark运行模式，`path/to/your/jar.jar`是你的JAR文件路径。 5. **日志和调试** Spark提交作业时，会输出日志信息，帮助追踪任务执行状态和可能出现的问题。在本地运行...
Spark Java程序打包提交找不到类错误
liulu930507的博客
06-12 3256
java写的spark程序，打包时不能带spark-core相关版本的包，打包成JAR以后只能在linux的spark集群中运行spark-submit。本地不能运行。提示来源于如下链接https://bbs.csdn.net/topics/392283234...
IDEA 打jar，提交spark集群运行
花羽的博客
05-15 2112
1、idea打开file,选择projectstructure,点击Artifacts,如下图 选择add JAREmpty 然后点击OK   2、选择bulid Artifacts 点击bulid 就会打成jar 3、通过winSCP把jar上传到服务器/var/lib/hadoop-hdfs/application/bash/jar/testjjp.jar 4
spark-submit运行jar包报错找不到类的解决方法
qq_43034505的博客
12-25 2395
是打jar包的问题 打包的时候去掉依赖的与集群相关的jar包，只留图片中的就可以
java -jar运行spark程序找不到自己写的类的错误解决
热门推荐
大数据训练营
11-23 1万+
spark程序异常解决
idea打jar包与spark-submit提交集群
刘s泽
11-21 589
一、idea打包 1.project Structure中选择Aritifacts 2.选择+号新建一个要打的jar包 删除除了 compile output之外的集群中已经存在的jar包，除非引入了集群中不存在的jar包 3.选择设置主类，再build-&amp;amp;amp;amp;amp;amp;amp;gt;build Aritifacts即可 二、spark-submin提交集群命令 使用yarn管理集群资源： spark-submit -...
IntelliJ IDEA环境中打包+上传主机，spark-submit提交执行
艾@七的专栏
05-14 3722
这是上一篇文章的续集，同样适合小白第一次尝试spark，主要是如何在IntelliJ IDEA中对程序打包，上传主机，通过spark-submit来提交执行。
spark-submit碰到的坑（持续更新）
06-24 7964
我的spark部署模式是standalone-cluster，IP分别为：129，130，131，129为Master, 本文主要是将相关配置的注意事项进行记录，相关配置 文件如下： 1、spark-env.sh 2、spark-default.conf(之前报错，配置过，然后又注销掉了） 之前使用spark-shell、spark-submit碰到的异常有以下： 1、dri...
如何使用intellij搭建spark开发环境（下）
sdujava2011
07-08 1411
本文转自http://www.beanmoon.com/2014/10/11/%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8intellij%E6%90%AD%E5%BB%BAspark%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83%EF%BC%88%E4%B8%8B%EF%BC%89/，所有权力归原作者所有。 （吐槽一句，CSDN这个排版也是...
idea打包jar包到spark运行
06-28
### 回答1： 1. 首先，需要在IDE中创建一个Maven项目，并添加Spark依赖。 2. 在项目中创建一个Main类，并编写Spark程序。 3. 在IDE中打包项目，生成一个jar包。 4. 将生成的jar包上传到Spark集群中。 5. 在Spark集群中运行以下命令： ``` spark-submit --class com.example.Main --master yarn --deploy-mode cluster /path/to/jar ``` 其中，com.example.Main是Main类的完整路径，/path/to/jar是jar包的路径。 6. 等待程序运行完成，查看输出结果。 ### 回答2： 将idea中的java项目打包成一个可执行的jar包，可以方便地在spark集群中运行。实现步骤如下： 1.在idea中，选中项目右击，点击“Open Module Setting”打开模块设置。 2.进入模块设置界面，点击左侧菜单中的“Artifacts”，然后点击“+”号添加一个新的Artifact。 3.选择“Jar”类型，填写Artifact的名称和输出路径。 4.定义Artifact所需要打包的内容，如项目中使用的外部库、资源文件和自身编写的类等。在“Output Layout”界面中进行规划和配置。 5.将Artifact设置为“Build on make”，以便在每次编译时自动打包。 6.完成Artifact设置后，点击“OK”保存配置，然后再次右键点击项目，选择“Build Artifact” -> 要打包的Artifact名字 -> “Build”。 7.成功完成打包后，可以在指定输出路径中找到生成的jar包。 8.在spark集群中调用该jar包，使用“spark-submit”命令提交任务，并指定jar包路径和主函数类名。例如： $ spark-submit --class com.example.Main --master spark://master:7077 myproject.jar 有了打包好的jar包，可以方便地在不同的机器上运行spark任务，而且能够有效地减少开发者的工作量和提高程序的可维护性和重用性。 ### 回答3： 在将 IDEA 项目打包为 JAR 文件并在 Spark 上运行之前，我们需要先了解一些基本概念和步骤。 首先需要明确的是，Spark是一个分布式计算框架，它的运行需要一个集群环境，而 JAR 文件则是一种可执行程序文件，是用来包含所有依赖的文件和代码。 因此，在将 IDEA 项目打包为 JAR 文件之前，需要确保你已经搭建好了 Spark 集群环境，并且在项目中引入了必要的 Spark 依赖。 接下来，我们可以按照以下步骤将 IDEA 项目打包为 JAR 文件： 1. 在 IDEA 中选择项目 → 打包 → 打包为 JAR 文件。 2. 在弹出的窗口中选择所需的设置，包括打包的模块、存放路径、依赖项等等。此外，还需要指定启动类（即包含 main 方法的类）。 3. 点击“打包”按钮，即可生成 JAR 文件。 4. 将生成的 JAR 文件上传到 Spark 集群中的某个节点（比如 master 节点），同时确保所有依赖包都已正确安装。 最后，我们可以通过以下命令在 Spark 上运行 JAR 文件： ``` spark-submit --class <main-class> --master <master-url> <path-to-jar> [args] ``` 其中，<main-class> 表示启动类的完整类名，<master-url> 表示 Spark 集群的主节点 URL，<path-to-jar> 表示 JAR 文件在节点上的路径，[args] 表示可选的运行参数。 总之，将 IDEA 项目打包为 JAR 文件并在 Spark 上运行，需要确保正确搭建集群环境和引入必要的依赖，以及熟悉打包和运行命令的使用方法。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值