java spark程序打包_Spark java+scala项目打包(jar)

最新推荐文章于 2023-08-24 15:07:20 发布
最新推荐文章于 2023-08-24 15:07:20 发布
阅读量430 收藏
点赞数
文章标签： java spark程序打包
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42610010/article/details/115040449
版权

1.法1：maven打包

pom.xml文件

maven-assembly-plugin

false

jar-with-dependencies

ch.kmeans2.SparkStreamingKMeansKafkaExample

make-assembly

package

assembly

org.scala-tools

maven-scala-plugin

2.15.2

scala-compile-first

compile

**/*.scala

scala-test-compile

testCompile

然后使用mvn clean package命令进行打包，如果提交到集群运行遇到Exception in thread "main" java.lang.AbstractMethodError，考虑项目中spark的版本和集群运行版本是否一直

2.法2：idea打包

Project->Module Setting->Artifacts

1a4a5d59d927c1fab53630ffb9a3d0d9.png

9c8d1df5bdc109784ebcfdc4d09c33ae.png

bab048e47f0b27cf4dad9ba9972ddabb.png

然后Build Artifact输出jar包

芥子纳须弥1116
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java spark程序打包_Spark - 程序多种打包运行方案
weixin_30562977的博客
03-02 531
想不想把spark项目打包更快一点？如果把几百M的依赖包打成一个包是很花时间的，少则1分钟，多则几分钟，这些时间还不如留着跟前台妹子聊会天呢，经过几百遍的测试，平时要花1分20秒才能打成的jar包，现在只需要9秒，没错你没听错就是9秒，咳咳....，好了不吹牛了回归正文吧。使用方法build.gradlegroup 'com.dounine'version '1.0.0-SNAPSHOT'appl...
java项目整合scala项目打包（调用外部jar包）
adayan_2015的博客
10-02 1245
一、引入外部jar包 在用到外部jar包的时候，可以将jar包放入到本地的maven仓库，然后在pom.xml文件中添加相应的依赖即可。 例如：有一个ipdatabase.zip项目文件。 方法一： 将ipdatabase.zip文件解压。 cmd到达pom.xml文件。运行以下脚本即可。 mvn install -DskipTests 或者 mvn install -Dmav...
Spark项目Java和Scala混合打包编译
硅谷工具人
08-24 1585
实际开发用有时候引用自己写的一些java工具类，但是整个项目是scala开发的spark程序，在项目打包时需要考虑到java和scala混合在一起编译。今天看到之前很久之前写的一些打包编译文章，发现很多地方不太对，于是重新整理更新如下。
【Idea 打包spark程序，集群模式下运行】
weixin_43887873的博客
05-29 1989
由于这是我自己随手记录的，所以显得比较乱，但是步骤基本都有，排版就以后再说。 重试一次，自定义jar包程序运行。 1.建立scala项目 2.添加spark下的jar包依赖【usr/local/spark/jars】,当然也有scala的sdk，一般我这边已经有了 写程序：我终于，可以从头到尾，自己写下来所有的API。并且运行成功。 接下来开始打包，先注释掉，setMaster（“local”) main class，这边自动给我识别， 然后删除，除项目jar包以外的所有依赖，【集群环境里.
spark项目打包build—— scala项目打包
小白
09-11 725
<build> <sourceDirectory>src/main/scala</sourceDirectory> <plugins> <plugin> <groupId>org.scala-tools</groupId> <artifactId>maven-scala-plugin</artifactId> <vers
spark scala maven打包方式，基于maven的spark项目配置(坑太多，只有自己来了)
巨魔战将
06-24 3766
介绍   最近有个spark集群压测时小任务，因为习惯了用maven，所以打算用maven的scala依赖来写spark程序。很久没写scala代码有些生疏，代码写好了，打包一直运行不起来，网上搜了很多材料发现没用，有的用ide打包，体验不是很好。   因此找了个之前自己写的一个项目，贴出来供大家参考和爬坑。 maven配合 如果要用maven依赖写scala程序，那么需要做相关的依赖，并且在build里面做一些配置才能打出可直接用spark-submit运行的jar。 pom.xml <?xml v
idea，maven打包spark程序（scala）的jar文件
caozhanweicaiyuli的博客
02-06 1561
1.new-->project--->maven 填入GroupId和ArtifactId（相当于给你的项目起名字） 2.在pom.xml中标签中建立标签 3.在http://mvnrepository.com/ 中找到你要添加的包 复制到pom.xml中的中，保存 4.删除test 以及main中的java文件夹 5.main中新建scala文件夹 6.右击项目--
基于Scala和Java的Spark学习项目设计源码
04-17
其中Scala源代码文件scala 533个，Java源代码文件java 21个，XML配置文件xml 10个，Properties配置文件properties 5个，Markdown文档文件md 2个，Git忽略配置文件gitignore 1个，项目许可证文件LICENSE 1个，Kotlin...
基于maven依赖，利用scala编写spark，打包jar+源代码+文档说明
04-05
2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。...
idea 新建项目并打包（java，spark）
01-20
通过以上步骤，你可以在IntelliJ IDEA中成功创建一个Java或Scala的Spark项目，并进行打包与执行。记得不断更新依赖，保持项目与最新库同步，以获取最佳性能和功能。在开发过程中，还可以利用Idea的调试、测试、代码...
spark-core_2.12-3.0.0.jar
03-19
比maven仓库下载快很多
在IntelliJ IDEA中创建和运行java/scala/spark程序的方法
08-19
Scala代码可以通过Scala编译器（scalac）或者快速编译器（fsc）编译为.class文件或打包成.jar文件，随后使用Java命令运行。Scala也可以在IntelliJ IDEA中通过插件进行安装和管理。 Apache Spark： Apache Spark是一...
IDEA中打包Spark项目
m0_56602092的博客
09-05 1402
1. 在项目pom文件中做打包相关的配置 首先在pom文件中添加如下配置（根据自己的项目设置scala版本和入口类完整路径），然后右键选择Maven -> Reload project
spark java maven jar_Maven打包Java版的spark程序到jar包，本地Windows测试，上传到集群中运行...
weixin_31570865的博客
03-02 495
作者：翁松秀Maven打包Java版的spark程序到jar包，本地Windows测试，上传到集群中运行文章目录Maven打包Java版的spark程序到jar包，本地Windows测试，上传到集群中运行Step1：Maven打包Jar包Step2：本地测试spark程序Step3：Jar包上传到集群Step4：集群上提交Jar包学习spark的路漫漫啊~前面搭建好了本地环境，用eclipse跑了...
scala程序打jar包，spark终端下执行jar包（ spark-submit 提交的几种模式））
唐豌豆的博客
09-23 1705
运行环境 工具：idea2019 条件：maven管理j依赖jar包，建立的是quickstart工程 jar包核心代码 object MySpark { def main(args: Array[String]): Unit = { // val conf = new SparkConf().setMaster("local[*]").setAppName("myjob") // val sc = new SparkContext(conf) // //使用空格分离，words与数字
spark程序打包为jar包，并且导出所有第三方依赖的jar包
あずにゃん梓喵的博客
07-31 3046
Impala 操作/读写 Kudu，使用druid连接池 Kudu 原理、API使用、代码 Kudu Java API 条件查询 spark读取kudu表导出数据为parquet文件（spark kudu parquet） kudu 导入/导出 数据 Kudu 分页查询的两种方式 map、flatMap(流的扁平化)、split 的区别 Spark(SparkSql) 写数据到 ...
Spark 总结项目一---IDEA-Scala打jar包报错、jar包太小问题
修行的博客
09-25 3180
四、IDEA-Scala打jar包报错 难点： ​ 1、因为是第一次打包scala项目，以至于打出来的jar包没有scala的代码，所以没有添加对应的scala-tool打包的pom； ​ 2、在项目打包的时候，IDEA会出现点击package后代码，没编译成功的情况，所以包还是原来的那个包并没有更新。 ​ 3、项目打包，出现版本IDEA和Win使用的scala版本不符错误，百度后指出是版本问题，但是查证版本后发现两者版本相同。 解决方案： ​ 1、导入pom文件中的以下scala-tool，打包问题自然解
大学生创业计划书(47)-两份资料.docx
最新发布
08-20
大学生创业计划书(47)-两份资料.docx
java spark jar包_Spark java+scala项目打包(jar)
05-27
您好，要打包Java或Scala项目成jar包，可以使用Maven或Gradle等构建工具。以下是使用Maven打包Spark项目的步骤： 1. 在项目的pom.xml文件中添加以下插件： ``` <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-assembly-plugin</artifactId> <version>3.1.1</version> <configuration> <archive> <manifest> <mainClass>com.example.spark.Main</mainClass> </manifest> </archive> <descriptorRefs> <descriptorRef>jar-with-dependencies</descriptorRef> </descriptorRefs> </configuration> <executions> <execution> <id>make-assembly</id> <phase>package</phase> <goals> <goal>single</goal> </goals> </execution> </executions> </plugin> </plugins> </build> ``` 这个插件会将项目及其依赖打包成一个jar文件，并且在MANIFEST.MF文件中指定程序入口的Main类。 2. 在命令行中使用以下命令进行打包： ``` mvn clean package ``` 这个命令会执行项目的clean和package命令，生成一个名为“项目名-version-jar-with-dependencies.jar”的文件。 3. 运行打包好的jar文件： ``` java -jar 项目名-version-jar-with-dependencies.jar ``` 其中，项目名和版本号根据您的实际情况来替换。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值