使用spark的api读取mongo版本不兼容问题

spark版本2.1.1
mongo版本3.4.6
话不多说了,搞了一天,结论这样的:
如果使用spark的api读取mongo有NotFoundClass或者NoSuchMethod等此类错误,一般着手两个方面去考虑:
1、集群环境没有完整的jar包。
2、jar包冲突或jar包与集群的版本不兼容
解决方案:
SparkConf文件中
在这里插入图片描述
在conf文件指向的extlib目录下添加如下jar包:
bson-3.4.2.jar
mongodb-driver-3.4.2.jar
mongodb-driver-core-3.4.2.jar
mongo-java-driver-3.4.2.jar
mongo-spark-connector_2.11-2.1.1.jar
注意:在pom文件中下载mongo-spark的会下载它的依赖 mongo-java-driver-XXX.jar,将这个版本的jar一起拷进集群,同时mongo-java-driver-XXX.jar又会依赖其他的jar,需要将所有用到的jar一起拷贝进集群配置的extlib目录。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值