Spark jars依赖问题

最新推荐文章于 2024-04-24 16:25:17 发布

~~~猿码~~~

最新推荐文章于 2024-04-24 16:25:17 发布

阅读量597

点赞数

文章标签： spark

本文链接：https://blog.csdn.net/weixin_45361602/article/details/109365021

版权

本文介绍了Spark中解决jar依赖的三种方法：通过--packages或--jars参数、使用fat jar插件打包以及针对集成MySQL时的特殊处理。在集成MySQL时，需要将MySQL驱动添加到HADOOP_CLASSPATH，并通过spark.executor.extraClassPath和spark.driver.extraClassPath配置确保依赖可用。此外，可以在spark-defaults.conf中设置相关参数以简化操作。

摘要由CSDN通过智能技术生成

Spark jars依赖问题

1、可以使用–packages或者–jars解决依赖问题

[root@CentOS ~]# spark-submit  
/  --master spark://CentOS:7077 --deploy-mode client 
/  --class com.baizhi.outputs.SparkWordCountApplication 
/  --name RedisSinkDemo --total-executor-cores 6 
/  --packages redis.clients:jedis:2.9.2  
/  /root/original-spark-rdd-1.0-SNAPSHOT.jar

2、可以使用fat jar插件将需要的依赖打包

[root@CentOS ~]# spark-submit  
/  --master spark://CentOS:7077 
/  --deploy-mode client 
/  --class com.baizhi.outputs.SparkWordCountApplication 
/  --name RedisSinkDemo --total-executor-cores 6 
/  /root/spark-rdd-1.0-SNAPSHOT.jar

3、注意当集成MySQ

最低0.47元/天解锁文章

~~~猿码~~~

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
Spark jars依赖问题

Spark jars依赖问题1、可以使用–packages或者–jars解决依赖问题[root@CentOS ~]# spark-submit --master spark://CentOS:7077 --deploy-mode client --class com.baizhi.outputs.SparkWordCountApplication --name RedisSinkDemo --total-executor-cores 6 --packages redis.clients:jedi..
复制链接

扫一扫