spark依赖外部第三方jar包

已于 2023-08-11 14:08:59 修改
阅读量6.1k 收藏 9
点赞数 3
文章标签： spark linux spark-submit --jars
于 2019-07-18 16:55:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011291276/article/details/96429844
版权

一、摘要
由于项目需要搭建spark单独提交jar包运行，而spark提交jar包执行，需要依赖外部其他第三方jar包时候，官方给出的是在spark-submit命令上增加 --jars 参数去指定外部jar包，但是一个项目运行依赖的外部jar及其的多，此种方式肯定是不行的；
网上找的各种方式最终都没有效果，以下是本人所处理的结果；
二、当前运行环境
spark2.4.3 、 jdk1.8 、 scala2.12.2 （不依赖hadoop和oozie等）
三、依赖外部jar包-解决方式及说明
1、在spark根目录下 cd conf 进入目录
在这里插入图片描述
2、 执行

	cp spark-defaults.conf.template   spark-defaults.conf 
	vi spark-defaults.conf 打开该文件准备添加内容

3、在最末尾增加以下两个配置条目

	spark.driver.extraClassPath      外部jar包路径/*
	spark.executor.extraClassPath   外部jar包路径/*  #如/opt/runjar/lib/*

保存退出，重新执行spark-submit即可

四、说明
1、官网文档给出了很多配置，都是可以在spark-defaults.conf里面配置的；
很多配置在当前版本默认都没有，所以需要手动添加
官网配置文档地址：
http://spark.apache.org/docs/latest/configuration.html
在这里插入图片描述
运行环境的配置信息如下在这里插入图片描述

Zeppelin中添加第三方依赖Kafka
litlit023的专栏
01-07 619
目录 1. 概述 2. 参考资料 1. 概述 在Zeppelin里如何添加第三方依赖，主要有以下两种方法 flink.excuetion.packages flink.execution.jars 在zeppelin中，使用flink链接kafka数据源，例如访问zeppelin的flink demo时，会有以下的一个paragraph来配置第三方jar包依赖，我们直接执行这个paragraph，zeppelin即可自动帮助我们下载上面的依赖： %flink.conf # This .
Zeppelin导入额外jar包方法
zhengzaifeidelushang的博客
08-30 841
Zeppelin导入额外jar包方法方法一：为特定用户导入特定jar包方法二：永久导入jar包方法三：临时导入jar包 方法一：为特定用户导入特定jar包 方法参考这篇博客： zeppelin为特定用户添加额外jar包 方法二：永久导入jar包 在zeppelin启动的环境变量中永远导入jar包 export SPARK_SUBMIT_OPTIONS="--jars /moudle/zeppelin-0.9.0/plugins/mysql-connector-java-8.0.21.jar" 方法三：
Spark中--jars与spark.driver.extraClassPath、spark.executor.extraClassPath区别与联系
benrciv的博客
11-12 4496
–jars： 提供系统中没有的包 ​ 运行时将包分发到worker指定目录例如/var/run/spark/work 不会加载到executor的classPath 多个包用逗号分隔 ​ spark.{driver|executor}.extraClassPath 多版本的相同类被加载进ClassLoader，link的时候发生错误时，用了指定版本 只需要指明包名即可，不需要指明路径 该依赖包具有最高优先级，但只能指定一个包 yarn-client模式下，–jars不会把包拷贝到本地，所以需要使用绝对
sparkshelljarlib_Spark应用程序第三方jar文件依赖解决方案
weixin_39572764的博客
12-20 422
第一种方式操作：将第三方jar文件打包到最终形成的spark应用程序jar文件中应用场景：第三方jar文件比较小，应用的地方比较少第二种方式操作：使用spark-submit提交命令的参数: --jars要求：1、使用spark-submit命令的机器上存在对应的jar文件2、至于集群中其他机器上的服务需要该jar文件的时候，通过driver提供的一个http接口来获取该jar文件的(例如：htt...
SparkSQL（2）：Spark应用依赖第三方jar文件解决方案
小蚯蚓的博客
10-30 5887
一、实现功能 spark运行依赖jar包添加方式。 二、方法 1. 本地jar包： （1）方法：使用参数--jars添加本地的第三方jar文件，可以给定多个，使用逗号分隔 bin/spark-shell --jars /opt/modules/hive-1.2.1/lib/mysql-connector-java-5.1.27-bin.jar,/opt/modules/hive-1.2...
Spark缺少的jar包
10-04
Spark缺少的jar包
spark 任务添加外部依赖包
积水成渊
08-19 982
1. spark 任务添加外部依赖包 ```txt 依赖包放这个目录下 spark on yarn: /opt/spark/spark-2.1.1-bin-hadoop2.6/jars mkdir -p /opt/external_jars ln -s /opt/external_jars /opt/spark/spark-2.1.1-bin-hadoop2.6/jars/external_jars 具体操作如下： （1）新建目录 mkdir -p /opt/external_jars （2）上传
spark应用程序引用第三方的jar包(转载备用)
北京小辉
09-12 4331
第一种方式 操作：将第三方jar文件打包到最终形成的spark应用程序jar文件中 应用场景：第三方jar文件比较小，应用的地方比较少 第二种方式 操作：使用spark-submit提交命令的参数: –jars 要求： 1、使用spark-submit命令的机器上存在对应的jar文件 2、至于集群中其他机器上的服务需要该jar文件的时候，通过driver提供的一个http接口来获...
spark 添加依赖_Hive和SparkSQL自定义UDF中依赖第三方Jar包
weixin_39828859的博客
12-21 1433
关键字：Hive udf、SparkSQL udf、 第三方jar包当在Hive和SparkSQL中使用的自定义UDF函数需要依赖第三方jar包时，可以将所有jar包通过类似于fatjar等插件打在一起，但显得太麻烦、太累赘了。其实只需要在运行时候将依赖的第三方jar包和udf函数jar包一起添加到CLASSPATH这种即可；这里的SparkSQL指整合了Hive的。Hive中添加第三方JAR包1...
hadoop的各种jar包
10-26
3. **依赖管理**：确保所有依赖的JAR包都已添加，包括Hadoop的依赖库，如Apache Commons、Guava等。如果使用Maven或Gradle，可以在构建文件中添加相应的依赖。 4. **编写代码**：现在可以开始编写使用Hadoop API的...
spark_jar包
07-11
spark 最新技术架包，具体说名请找度娘。知道的人可以下载
spark依赖
01-07
– 4.0.0 com.bjsxt.spark MySpark 1.0-SNAPSHOT – UTF-8 1.8 1.8 – – org.apache.spark spark-core_2.11 2.3.1 – org.apache.spark spark-sql_2.11 2.3.1 – org.apache.spark spark-hive_2.11 2.3.1 – mysql mysql-connector-java 5.1.47 – org.apache.spark spark-streaming_2.11 2.3.1 – org.apache.spark spark-streamin
sparkscala开发依赖包
07-29
sparkscala开发依赖包 ECLIPSE 开发IDE需要的对应依赖包
spark相关jar包
06-14
spark相关jar包
spark-streaming 2.2.0 jar包
12-17
基于Scala2.11的spark-streaming 2.2.0 jar包，用于java开发
PySpark 中 调用 Jar 包
修行修心
07-30 2715
PySpark 中 调用 Jar 包
spark-submit 应用程序第三方jar文件
小哇
10-30 2687
要点导航 第一种方式：打包到jar应用程序 第二种方式：spark-submit 参数 --jars 第三种方式：spark-submit 参数 --packages 第四种方式：添加到spark的环境变量 回到导航 第一种方式：打包到jar应用程序 操作：将第三方jar文件打包到最终形成的spark应用程序jar文件中 应用场景：第三方jar文件比较小，应用的地方比较少 回到导航 第二种方式：spark-submit 参数 --jars 操作：使用spark-submit提交命令的参数
spark 编译包含第三方jar
易水寒
06-16 451
1. 加插件<plugin> <artifactId>maven-assembly-plugin</artifactId> <configuration> <archive> <ma...
spark用到第三方依赖，怎么在启动spark-submit时加载？
weixin_52953102的博客
05-12 468
spark程序中用到第三方依赖时，怎么加载？
spark flink jar包依赖
最新发布
08-03
### 回答1： Spark和Flink都是大数据处理框架，它们的jar包依赖不同。Spark的依赖包括Scala、Hadoop、Akka等，而Flink的依赖包括Scala、Hadoop、Netty等。在使用这些框架时，需要根据具体的需求选择相应的依赖包，并将其添加到项目中。同时，还需要注意依赖包的版本兼容性，以避免出现不兼容的情况。 ### 回答2： Spark和Flink都是流行的大数据处理框架，它们都支持在作业执行期间使用外部的jar包。 对于Spark，可以通过以下几种方式添加jar包依赖： 1. 通过命令行使用--jars参数来指定jar包的路径。例如：`spark-submit --class mainClassName --jars path/to/dependency.jar application.jar`。在这种方法中，所有的依赖jar包都会被自动分发到集群中的每个工作节点，供Spark作业使用。 2. 在代码中使用`SparkContext`的`addJar`方法来添加jar包依赖。例如：`sparkContext.addJar("path/to/dependency.jar")`。这个方法会将依赖jar包分发给集群中的每个工作节点，供Spark作业使用。 对于Flink，可以使用以下几种方式添加jar包依赖： 1. 在代码中通过`env.registerExternalLibrary`方法注册待使用的jar包。例如：`env.registerExternalLibrary("path/to/dependency.jar")`。这样注册后，Flink作业在提交和运行时会将依赖的jar包自动分发到集群中。 2. 在Flink的作业配置文件中使用`pipeline.classpaths`属性来指定jar包的路径。例如：`pipeline.classpaths: ["path/to/dependency.jar"]`。Flink在运行作业时会将指定的jar包自动分发到集群中的每个任务运行实例。 以上是Spark和Flink中添加jar包依赖的常用方法，通过这些方法可以将外部的jar包导入到框架的运行环境中，以供作业使用。 ### 回答3： Spark和Flink是两个常用的大数据处理框架，它们可以用来处理大规模数据集和流式数据。在使用这两个框架时，我们需要将项目打包成一个可执行的jar包，并在提交任务时依赖所需的库文件。 对于Spark的jar包依赖，我们需要在构建项目时定义所需的依赖项，可以使用Maven或者其他构建工具来管理依赖关系。在pom.xml文件中添加相应的依赖项，例如Spark Core、Spark SQL、Spark Streaming等。在打包项目时，构建工具会把这些依赖项打包进生成的jar包中，以便在集群上执行时可以访问到这些依赖库。 对于Flink的jar包依赖，也需要在构建项目时定义相关的依赖项。与Spark类似，可以使用Maven或其他构建工具来管理依赖关系。在pom.xml文件中添加Flink的核心依赖以及其他需要使用的模块，如Flink SQL、Flink Streaming等。在打包时，依赖项会被打包到生成的jar包中，以便在集群中执行时可以访问到所需的依赖库。 在提交作业时，无论是Spark还是Flink，都需要指定相关的jar包路径，以告知框架要加载的依赖库。可以通过命令行参数或者在代码中设置相应的参数来指定依赖库的路径。框架会根据这些信息在集群中进行作业的执行，保证所需的依赖库可用。 总结来说，无论是Spark还是Flink，jar包依赖都需要在构建项目时定义，并在打包时将依赖库打包到生成的jar包中。在提交作业时，需要指定相关的依赖路径，以确保集群中可以加载到所需的依赖库。这样可以保证在分布式环境中使用Spark和Flink时，能够顺利地执行大数据处理任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值