spark3的打包

最新推荐文章于 2024-05-10 08:41:16 发布
最新推荐文章于 2024-05-10 08:41:16 发布
阅读量234 收藏
点赞数
分类专栏： Spark 文章标签： spark scala maven
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43662627/article/details/119464599
版权
本文介绍了如何针对Spark3版本，使用最新的Scala打包插件进行项目打包，包括正确导入依赖和设置启动入口。
摘要由CSDN通过智能技术生成

网上有很多关于spark如何打包的文章，但有一些是很老的，不适用于spark3版本的scala2.1以上

一 导入依赖

这是新的版本的scala打包插件要导入依赖

        <!-- https://mvnrepository.com/artifact/net.alchim31.maven/scala-maven-plugin -->
        <dependency>
            <groupId>net.alchim31.maven</groupId>
            <artifactId>scala-maven-plugin</artifactId>
            <version>
最低0.47元/天 解锁文章
Drgom
关注
专栏目录
spark打包命令
merrily01的博客
11-24 266
./dev/make-distribution.sh --name hadoop2.7.1 --tgz -Phadoop-2.7 -Psparkr -Phive -Phive-1.2 -Phive-thriftserver -Pyarn -Pkubernetes -DskipTests -Dmaven.test.skip=true
java spark程序打包_Spark - 程序多种打包运行方案
weixin_30562977的博客
03-02 560
想不想把spark项目打包更快一点？如果把几百M的依赖包打成一个包是很花时间的，少则1分钟，多则几分钟，这些时间还不如留着跟前台妹子聊会天呢，经过几百遍的测试，平时要花1分20秒才能打成的jar包，现在只需要9秒，没错你没听错就是9秒，咳咳....，好了不吹牛了回归正文吧。使用方法build.gradlegroup 'com.dounine'version '1.0.0-SNAPSHOT'appl...
spark打包的方式
weixin_43874447的博客
12-06 1162
1、不需要第三方依赖 直接在项目的根目录下面执行如下命令： mvn package -DskipTests 2、需要第三方依赖 此时就需要在pom中添加一个第三方的插件来完成打包 <build> <sourceDirectory>src/main/scala</sourceDirectory> <plugins> ...
Spark项目打包【多图少字】
twi_twi的博客
12-15 659
Spark项目打包运行【多图少字】
Spark3.0源码编译打包
敏叔
03-28 5292
前言 Spark3.0已经发布有一阵子了，官方发布了预览版，带来了一大波更新，对于我们程序员来说，首先当然是代码拉过来，打个包，跑起来！！ 源码地址 Spark源码是托管在github上面的，源码地址：Spark官方源码 不过clone下了还是老费劲，不得琢磨琢磨微软收购github之后这个中国的网速问题不知道他们怎么看，我在gitee上面直接也fork一份源码，再进行clone。 gitee上S...
spark学习6：应用程序的打包部署
hzp666的博客
05-20 224
standlone 集群模式下 ，提交应用后，可以在浏览器中输入 spark://master:8080 查看执行情况 yarn集群模式下，提交应用程序 ps:在 spark-shell中 系统默认会生成一个 sparkContext，也就是sc 可以直接拿来用。 不必像在编写应用程序时，自己代码去生成。 ps:grep 管道函数，过滤只展示跟“Pi is roughly”相关的信息 ...
docker-spark:使用 sbt 将 spark 作业打包到 docker 中的测试应用程序
07-11
使用 sbt-docker 打包 Spark 作业并在本地模式下运行 使用以下行来构建和运行 sbt docker docker run --name=sparktest eu.stupidsoup.spark/docker-spark 需要安装 sbt 和 docker
spark项目打包流程
千淘万漉
11-22 1515
注意：在windows系统上测试spark代码时如果报缺少winutils.exe的错误，下载下面文件然后解压，需要在程序运行的开始加上   System.setProperty("hadoop.home.dir", "xxx/hadoop-common-2.7.3-bin-master") 文件链接：  hadoop-common-2.7.3-bin-master.zip 打包流程 1...
hive3.x编译spark3.x包
06-07
8. **打包与分发**：将编译好的Hive和Spark二进制包打包并分发到集群的各个节点，以便于其他用户和应用使用。 描述中提到的“hive3.1.2-spark3.0.0和hive3.1.3-spark3.1.3二进制包”可能是已经完成编译和测试的版本...
Spark打包插件解析
weixin_42229056的博客
04-16 960
今天在做Spark代码打包的时候，遇到了个异常。内容是使用build打包，可以正常执行scala目录下的对应文件，但是导入了maven的pom打包插件，打包后的文件一直报找不到主类。原来是没有导入scala打包插件，为了更加了解插件文件， 打包插件解析 <build> <plugins> <!--指定maven打包使用的jdk版本，...
idea 新建项目并打包（java，spark）
01-20
1.idea新建一个工程 2.创建maven工程 3.创建工程名 4.注意勾选的就可以了 5.继续点击finish 就可以了 6.这里的java 不为source ，直接选ctrl+alt +s ，搜索 maven =》 import =》勾选 即可 7.修改pom 文件 junit junit 4.11 test org.wso2.siddhi siddhi-core 4.5.10 org.wso2.siddhi siddhi-query-api 4.5.10
spark-streaming程序打包配置文件
aaa1117a8w5s6d的专栏
01-24 3350
在spark-streaming程序中需要配置文件中的数据来完成某项统计时，需要把配置文件打到工程里，maven的配置如下： org.apache.maven.plugins maven-surefire-plugin true src/main/resources **/*.t
Spark项目Java和Scala混合打包编译
硅谷工具人
08-24 1643
实际开发用有时候引用自己写的一些java工具类，但是整个项目是scala开发的spark程序，在项目打包时需要考虑到java和scala混合在一起编译。今天看到之前很久之前写的一些打包编译文章，发现很多地方不太对，于是重新整理更新如下。
Spark2.x学习笔记：8、 Spark应用程打包与提交
程裕强的专栏
09-16 3039
第8章 Spark应用程打包与提交8.1 应用程序打包（1）Maven打包 进入Maven项目根目录（比如前一章创建的simpleSpark项目，进入simpleSpark项目根目录可以看到1个pom.xml文件），执行mvn package命令进行自动化打包。 Maven根据pom文件里packaging的配置，决定是生成jar文件还是war文件，并放到target目录下。 这时Mave
Spark学习之第一个程序打包&提交任务到集群
欢迎来到打不死的小强的专栏
09-01 449
Spark学习之第一个程序打包&提交任务到集群免密钥登录设置环境工具环境打包工具打包安装插件创建项目编写代码打包提交任务启动hadoop上传测试文件到hdfs上传程序jar包提交任务启动master启动worker提交作业查看测试程序是否正确查看 是否生成文件夹 进入文件查看程序是否正确进入文件查看程序是否正确 免密钥登录设置 ssh-keygen cd .ssh touch authorized_keys cat id_rsa.pub > authorized_keys chmod 600
spark编译打包步骤
qq_21591673的博客
05-10 253
2.定义jar包名称，双击右侧栏以“output”为后缀的文件到左侧，表示已添加工程至jar包中。6.将windows本地文件路径中保存的jar包拖入到xshell指定路径下。3.选择菜单栏中的“Build”->“Build Artifacts”选项。4.在弹窗中选择“yjw”->“Build”选项。7.输入命令提交Spark程序到集群。5.完成后将出现/out目录。
windows本地Eclipse开发spark程序打包到集群运行
ASN_forever的博客
12-03 1380
windows环境下基于Eclipse开发spark的配置可以看上一篇博文：https://blog.csdn.net/ASN_forever/article/details/84747317 本篇主要记录如何在windows本地用Eclipse开发spark程序以及如何打包到Linux集群去运行。   首先在Eclipse中创建一个maven项目，并配置好pom（具体细节看上一篇配置博文）...
spark3.3.1 for CDH6.3.2 打包
青冬的博客
11-23 3292
因为 CDH 在 6.3.2 之后开始收费，而自带的spark版本太低，还阉割了 spark-sql 功能。所以我们直接外挂spark3.3.1，使用 CDH 6.3.2 相关的 hadoop lib。
在local模式下的spark程序打包到集群上运行
weixin_30493401的博客
05-06 375
一、前期准备 　　前期的环境准备，在Linux系统下要有Hadoop系统，spark伪分布式或者分布式，具体的教程可以查阅我的这两篇博客： Hadoop2.0伪分布式平台环境搭建 Spark2.4.0伪分布式环境搭建 　　然后在spark伪分布式的环境下必须出现如下八个节点才算spark环境搭建好。 　　 　　然后再在本地windows系统下有一个简单的词频...
spark怎么打包java包
最新发布
09-19
Spark是一个基于内存的大数据处理框架，它本身并不直接支持打包Java包，但是你在使用Spark之前通常会将你的Java应用打包成JAR文件，因为Spark通过Hadoop Distributed File System (HDFS) 或者其他的文件系统加载和运行用户提交的应用程序。 以下是打包Java JAR的基本步骤： 1. **创建Maven项目**：如果你的项目是Maven管理的，确保pom.xml文件中有`<dependencies>`标签来添加对Spark和其他依赖项的引用。 ```xml <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>3.0.0</version> <!-- 使用对应版本 --> </dependency> <!-- 添加其他需要的依赖 --> </dependencies> ``` 2. **构建JAR**：在命令行中，导航到项目目录并运行`mvn clean package`命令，这将会生成一个名为`your-project-name-fat-jar.jar`（默认名称）的JAR文件，包含了所有依赖。 3. **配置Spark应用程序**：在Spark应用程序的main函数中，你可以通过`SparkSession.builder().appName("YourAppName")`来创建一个SparkSession，并加载你的自定义JAR文件作为资源。 ```java SparkConf conf = new SparkConf().setAppName("YourAppName"); SparkContext sc = new SparkContext(conf); // 加载jar包 sc.addFile("path/to/your/fat-jar.jar"); // 然后在这个上下文中启动你的应用 ... ``` 4. **运行Spark任务**：最后，运行你的Spark作业，它会在集群上执行你的Java代码。 注意：非Maven项目需要手动复制依赖到项目的lib目录或者使用类似`--jars`选项将JAR文件传递给`spark-submit`命令。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值