Spark应用依赖jar包的添加解决方案

在Spark应用中,我们发现,在${SPARK_HOME}\lib文件夹中添加jar包时并不起作用。那么,要如何使得我们编写的Sparky应用依赖的jar有效呢?有如下四种方案:

1.使用参数–jars

添加本地的第三方jar文件(运行spark-submit脚本的机器上),可以给定多个jar文件,中间用逗号隔开

 bin/spark-sql --jars /opt/modules/cdh-5.3.6/hive-0.13.1-cdh5.3.6/lib/hive-jdbc-0.13.1-cdh5.3.6.jar

2.使用参数–packages

通过Maven添加的第三方jar文件,可以使用逗号指定多个jar文件,(Spark底层自动实现,首先去默认的repository里面取,如果没有这个jar文件那么就去maven依赖网站自动下载),在linux环境中默认的repository在/home/ibeifeng/.ivy2/jars

bin/spark-shell --packages mysql:mysql-connector-java:5.1.27
bin/spark-shell --packages mysql:mysql-connector-java:5.1.27 --repositories http://maven.aliyun.com/nexus/content/groups/public

3.使用SPARK_CLASSPATH环境变量给定jar文件的路径

可以通过参数spark.driver.extraClasspath和spark.executor.extraClasspath,分别给定driver和executor的额外的classpath的环境路径。

注意:在集群中,要求所有节点均存在对应的jar文件的路径

步骤:
(1) cd /opt/modules/cdh-5.3.6/spark-1.6.1-bin-2.5.0-cdh5.3.6
(2) mkdir extjars
(3) 把你需要的第三方的jar文件放在extjars中
(4) 修改spark-env.sh
添加SPARK_CLASSPATH=/opt/modules/cdh-5.3.6/spark-1.6.1-bin-2.5.0-cdh5.3.6/extjars/*

4.将第三方的jar文件打包到最终的jar包里面(常用)

在将Spark应用程序打包时,将依赖的第三方jar文件一起打包。

注意

(1) 当运行是yarn的cluster模式,上面的方法除了第四种,其他的都不可以用,这种情况可以考虑直接将第三方的jar文件放在hadoop的默认的classpath中,默认放在${HADOOP_HOME}\share\hadoop\common\lib或者${HADOOP_HOME}\share\hadoop\yarn\lib

(2) spark应用在运行的时候,对于${SPARK_HOME}\lib文件夹中的jar文件,只会加载一部分datanucleus-.jar 和 spark-assembly-.jar;但是如果运行的环境是spark on yarn and cluster模式的话,只会默认的加载spark-assembly-*.jar

(3) sparksql应用程序集成hive的情况下,如果spark on yarn and cluster模式,请将spark目录下的lib目录里面的datanucleus-*.jar放在hadoop默认的classpath下

转载自:https://blog.csdn.net/luofazha2012/article/details/80954958

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值