spark-submit提交任务报错:java.sql.SQLException:No suitable driver

提交spark任务时一直报错:No suitable driver
提交任务命令如下

spark-submit \
--master yarn-client \
--num-executors 1 \
--executor-cores 2 \
--executor-memory 4G \
--conf spark.sql.shuffle.partitions=4 \
--class com.dy.ads.ads_rk_ccxx_population_property ../../script/smart-city-1.0.jar

每次执行这个命令都会报错,经过查询资料,尝试了加入--jars /opt/sparkJob/mysql-connector-java-5.1.47.jar也不行,后来又看到相关资料,还需要加入--conf spark.executor.extraClassPath=/opt/sparkJob/mysql-connector-java-5.1.47.jar才可以
完整命令如下
 

spark-submit \
--jars ../../jars/mysql-connector-java-5.1.37.jar \
--driver-class-path ../../jars/mysql-connector-java-5.1.37.jar \
--conf spark.executor.extraClassPath=/opt/sparkJob/mysql-connector-java-5.1.37.jar \
--master yarn-client \
--num-executors 1 \
--executor-cores 2 \
--executor-memory 4G \
--conf spark.sql.shuffle.partitions=4 \
--class com.dy.ads.ads_rk_ccxx_population_property ../../script/smart-city-1.0.jar

这三个必须都加上才可以,即--jars--driver-class-path--conf

  • 8
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值