spark 集群添加jar包 正解

最新推荐文章于 2025-04-10 17:34:48 发布
最新推荐文章于 2025-04-10 17:34:48 发布
阅读量2.4k 收藏 4
点赞数
分类专栏： 源代码 spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenfenggang/article/details/118162138
版权
本文介绍了如何使用正确的路径提交Spark作业，通过修改`spark-defaults.conf`配置文件确保作业运行。同时，分享了两种添加额外jar包的方法，一种是直接上传到HDFS，另一种是打包所有必需jar为zip文件。这两种方法均不会影响现有业务，并且在集群扩容时无影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前置

1、先说一下spark-submit 提交命令 ,应该采用 如下路径的spark-submit，因为这样才会读取spark-default.conf

>> /opt/cloudera/parcels/CDH/lib/spark/spark-submit

2、如果无法找到正确的路径，采用配置方式

如：

spark-submit --class org.apache.spark.examples.SparkPi --master yarn --properties-file spark-defaults.conf --deploy-mode cluster /opt/cloudera/parcels/CDH/lib/spark/examples/jars/spark-examples_2.11-2.4.0-cdh6.3.2.ja

2、添加一两个包的简单方法

spark 经常需要添加一两个jar包。一般采用如下方式，

1）、上传jar 到hdfs 路径。

如：hdfs:///spark-jars/spark.test.jar

2）、修改配置

>>vi /opt/cloudera/parcels/CDH/lib/spark/conf/spark-defaults.conf

>> 修改配置

spark.yarn.jars=local:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/spark/jars/*,local:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/spark/hive/*,hdfs:///spark-jars/spark.test

最低0.47元/天 解锁文章
spark-submit运行上传jar包问题
一亩三分地
05-02 1245
问题1： hadoop2.7+spark1.2: class not found com.hadoop.compression.lzo.LzoCodec 测试环境，上传jar包，spark-submit运行报上述错误，主要原因是： hadoop集群的core-site.xml有： <property><name>io.compression.codec.l...
Spark submit deploy_mode cluster 中的第三方JAR包
a95473004的博客
12-26 6040
本文介绍了一个种解决spark在cluster模式下提交作业无法添加第三方JAR包并引起class not found 异常的解决方案
Spark jar包加载顺序及冲突解决
epitomizelu的专栏
03-23 6413
一，spark jar包加载顺序 1，SystemClasspath – Spark安装时候提供的依赖包，通常是spark home目录下的jars文件夹 【SystemClassPath】 2，Spark-submit --jars 提交的依赖包 【UserClassPath】 3，Spark-submit app.jar或者shadowJar打的jar 【UserClassPath】 二，jar包冲突解
spark_jar包
07-11
spark 最新技术架包，具体说名请找度娘。知道的人可以下载
【spark-submit】--提交任务
最新发布
2401_88076102的博客
04-10 560
spark-submit 中参数介绍
Spark中函数addFile和addJar函数介绍
吟啸徐行
04-04 9060
尊重作者，转载至：https://www.iteblog.com/archives/1704.html 　      我们在使用Spark的时候有时候需要将一些数据分发到计算节点中。一种方法是将这些文件上传到HDFS上，然后计算节点从HDFS上获取这些数据。当然我们也可以使用addFile函数来分发这些文件。  addFile addFile方法可以接收
Spark应用依赖jar包的添加解决方案
Yage的博客
05-23 1万+
在Spark应用中，我们发现，在${SPARK_HOME}\lib文件夹中添加jar包时并不起作用。那么，要如何使得我们编写的Sparky应用依赖的jar有效呢？有如下四种方案： 1.使用参数–jars 添加本地的第三方jar文件（运行spark-submit脚本的机器上），可以给定多个jar文件，中间用逗号隔开 bin/spark-sql --jars /opt/modules/cdh-5.3...
Spark集群中使用spark-submit提交jar任务包实战经验
热门推荐
一路风景
01-03 4万+
转载: 蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务包实战经验 - cafuc46wingw的专栏 - 博客频道 - CSDN.NET http://blog.csdn.net/cafuc46wingw/article/details/45043941 一、所遇问题        由于在IDEA下可以方便快捷地运行
[Spark应用依赖jar包的添加解决方案]
程序车轮
07-07 1万+
Spark应用依赖jar包添加无效的解决方案      在Spark应用中，我们发现，在${SPARK_HOME}\lib文件夹中添加jar包时并不起作用。那么，要如何使得我们编写的Sparky应用依赖的jar有效呢？有如下四种方案：    1.使用参数--jars 添加本地的第三方jar文件（运行spark-submit脚本的机器上），可以给定多个jar文件，中间用逗号隔开     例子：   ...
spark相关jar包
06-14
对于本地开发，可以将所有必需的jar包添加到`jars`目录中，并通过`spark-submit`命令行工具提交作业时，指定这些jar的位置。例如： ```bash spark-submit --class com.example.Main --master local[4] --jars /path...
spark-assembly-1.5.2-hadoop2.6.0jar包
08-14
使用Spark-assembly-1.5.2-hadoop2.6.0.jar时，开发者需要将其添加到项目的类路径中，以确保所有Spark相关的依赖都被正确引入。在Scala项目中，这通常通过构建工具如sbt或Maven来完成。例如，在sbt的build.sbt文件中...
基于sacla开发sparksql、sparksession所需要的jar包.rar
03-17
在Spark SQL和SparkSession的开发过程中，正确引入必要的jar包是至关重要的步骤。"基于sacala开发sparksql、sparksession所需要的jar包.rar"这个压缩文件包含了一系列用于Spark SQL和SparkSession开发的关键库，这些...
spark动态加载jar包
he329867402的专栏
08-25 1797
spark任务在执行过程中动态加载远程（hdfs）的jar包，并实例化对象进行逻辑处理。记录过程中遇到的类加载问题。 一、hdfs协议 在实现动态加载的过程中URLClassLoader需要支持hdfs协议，hadoop有现成的处理方式。通过调整UrlStreamHanderFactory来实现URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); 备注：需要添加hadoop相关的jar包 hadoop-common和hadoo
Spark缺少的jar包
10-04
Spark缺少的jar包
spark应用程序引用第三方的jar包(转载备用)
辉哥大数据
09-12 4394
第一种方式 操作：将第三方jar文件打包到最终形成的spark应用程序jar文件中 应用场景：第三方jar文件比较小，应用的地方比较少 第二种方式 操作：使用spark-submit提交命令的参数: –jars 要求： 1、使用spark-submit命令的机器上存在对应的jar文件 2、至于集群中其他机器上的服务需要该jar文件的时候，通过driver提供的一个http接口来获...
Spark StructuredStreaming jar包添加
wainageren的博客
08-20 488
在spark-shell上运行spark structuredstreaming程序报如下错误，经排查发现是由于版本问题需添加多一些jar包。 spark版本为3.0.0。 我的代码 spark.sparkContext.setLogLevel("ERROR") val df = spark.readStream.format("kafka") .option("kafka.bootstrap.servers","node01:9092") ...
spark依赖外部第三方jar包
为什么简介是必填项？
07-18 6309
一、摘要 由于项目需要搭建spark单独提交jar包运行，而spark提交jar包执行，需要依赖外部其他第三方jar包时候，官方给出的是在spark-submit命令上增加 --jars 参数去指定外部jar包，但是一个项目运行依赖的外部jar及其的多，此种方式肯定是不行的； 网上找的各种方式最终都没有效果，以下是本人所处理的结果； 二、当前运行环境 spark2.4.3 jdk1.8 s......
spark中关联jar包的导入问题
杨煜冬煜杨的博客
05-29 1135
在使用spark时，我们往往在主节点上编写好代码，然后分发到各个从节点进行计算，这里有个问题，如果主节点的代码调用了某个外部jar包，那么是不是在从节点上也要复制该jar包呢？ 这篇文章给出了答案 http://www.bkjia.com/yjs/989198.html
spark执行优化--将依赖的jar包上传至hdfs上（spark3.1.1）
weixin_42934205的博客
10-26 3866
spark执行过程优化------将spark运行的jar包上传到HDFS上，避免在提交任务时因为spark程序包过大导致的占用运行时间和cpu资源 起因是在提交spark任务的时候，因为服务器处于离线状态，好多的依赖包无法通过网络进行下载，所以打成的spark程序包比较大，大概在200~300MB之间，每次通过spark-on-yarn提交任务时，总是有一段时间将本地的spark程序上传到hdfs，占用了太多的网络资源以及cpu。 所以，通过配置spark.yarn.archive和spark.yarn.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值