Scala避坑:Caused by: java.io.IOException: unexpected exception type

问题描述:

本地利用sbt打包上传到服务器集群上运行,报错:Caused by: java.io.IOException: unexpected exception type
本地环境Scala本版2.12.15,spark版本2.3.2。
本文的报错代码是:

val data = df.where("key=val1").first()
解决方案:

在网上找了很多解决办法,替换函数等各种尝试,结果都没能解决问题。最后发现是因为Scala版本不一致导致的问题。
检查服务器上的Scala版本是2.11.8的,将本地的Scala卸载换成和服务器上的版本一样,重新sbt打包。上传服务器运行并成功解决问题。

总结:很多情况都会遇到版本不一致而出现不可预期的问题,比如python也有非常严重的版本适配问题。所以,为了避免出现一些奇奇怪怪的问题,在开发过程中一定要保持各环境版本的一致性。这样能免了很多烦恼。

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值