Spark应用依赖jar包的添加解决方案

最新推荐文章于 2024-09-19 16:44:19 发布

阿雅Yage

最新推荐文章于 2024-09-19 16:44:19 发布

阅读量1.1w

点赞数

分类专栏： spark 文章标签： spark添加依赖jar包

spark 专栏收录该内容

15 篇文章 6 订阅

订阅专栏

在Spark应用中，我们发现，在${SPARK_HOME}\lib文件夹中添加jar包时并不起作用。那么，要如何使得我们编写的Sparky应用依赖的jar有效呢？有如下四种方案：

1.使用参数–jars

添加本地的第三方jar文件（运行spark-submit脚本的机器上），可以给定多个jar文件，中间用逗号隔开

 bin/spark-sql --jars /opt/modules/cdh-5.3.6/hive-0.13.1-cdh5.3.6/lib/hive-jdbc-0.13.1-cdh5.3.6.jar

2.使用参数–packages

通过Maven添加的第三方jar文件，可以使用逗号指定多个jar文件，(Spark底层自动实现，首先去默认的repository里面取，如果没有这个jar文件那么就去maven依赖网站自动下载)，在linux环境中默认的repository在/home/ibeifeng/.ivy2/jars

bin/spark-shell --packages mysql:mysql-connector-java:5.1.27

bin/spark-shell --packages mysql:mysql-connector-java:5.1.27 --repositories http://maven.aliyun.com/nexus/content/groups/public

3.使用SPARK_CLASSPATH环境变量给定jar文件的路径

可以通过参数spark.driver.extraClasspath和spark.executor.extraClasspath，分别给定driver和executor的额外的classpath的环境路径。

注意：在集群中，要求所有节点均存在对应的jar文件的路径

步骤：
(1) cd /opt/modules/cdh-5.3.6/spark-1.6.1-bin-2.5.0-cdh5.3.6
(2) mkdir extjars
(3) 把你需要的第三方的jar文件放在extjars中
(4) 修改spark-env.sh
添加SPARK_CLASSPATH=/opt/modules/cdh-5.3.6/spark-1.6.1-bin-2.5.0-cdh5.3.6/extjars/*

4.将第三方的jar文件打包到最终的jar包里面(常用)

在将Spark应用程序打包时，将依赖的第三方jar文件一起打包。

注意

(1) 当运行是yarn的cluster模式，上面的方法除了第四种，其他的都不可以用，这种情况可以考虑直接将第三方的jar文件放在hadoop的默认的classpath中，默认放在${HADOOP_HOME}\share\hadoop\common\lib或者${HADOOP_HOME}\share\hadoop\yarn\lib

(2) spark应用在运行的时候，对于${SPARK_HOME}\lib文件夹中的jar文件，只会加载一部分datanucleus-.jar 和 spark-assembly-.jar；但是如果运行的环境是spark on yarn and cluster模式的话，只会默认的加载spark-assembly-*.jar

(3) sparksql应用程序集成hive的情况下，如果spark on yarn and cluster模式，请将spark目录下的lib目录里面的datanucleus-*.jar放在hadoop默认的classpath下

转载自：https://blog.csdn.net/luofazha2012/article/details/80954958