记一次解决spark-submit写入oracle报错问题

先上代码:

//结果数据临时写入ods
    result.write.mode("append")
      .format("jdbc")
      .option("url", KlaAppEnv.ODSURL)
      .option("dbtable", KlaAppEnv.ODSDB)
      .option("user", KlaAppEnv.ODSUSER)
      .option("password", KlaAppEnv.ODSPASSWORD)
      .save()

spark将处理好的数据写入oracle,本地运行时完全没问题,数据正常。但是部署到集群,发现数据未写入,登录yarn监控界面查看任务执行情况:

任务状态为finished,但任务返回结果却是 failed,打开最下面任意一行的logs,查看报错详情:

错误原因:

根据报错信息描述,应该是oracle的驱动版本造成了冲突或者缺少相应jar包,一定要注意这个问题,否则会发现莫名其妙报错。

解决问题:

修改 pom 文件,将oracle连接包依赖修改为 provided(由于 Spark 服务器上有这些 jar 所以打包的时候不用将本地的打进去也能运行) ,再次打包提交,运行通过。

<!--oracle连接包-->
<dependency>
   <groupId>com.oracle</groupId>
   <artifactId>ojdbc6</artifactId>
   <version>11.2.0</version>
   <scope>provided</scope>
</dependency>

 

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值