spark mongodb 踩坑 Caused by: java.io.InvalidClassException: com.mongodb.spark.rdd.MongoRDD

最新推荐文章于 2024-04-05 13:00:00 发布
最新推荐文章于 2024-04-05 13:00:00 发布
阅读量713 收藏
点赞数
分类专栏： sparkmongo spark及问题解决 文章标签： spark mongodb 踩坑 InvalidClassException MongoRDD
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_14950717/article/details/96479169
版权

本人在工作中用到了部分spark-mongodb的整合，今天在测试环境测试的时候，提交任务到yarn出现问题，具体描述如：
在这里插入图片描述
根据错误提示，搜索了很久，说class 序列号问题
经过仔细排查后，发现，分析：client端类版本与server端不一致；线上环境的jar的版本和本次打jar包的环境的版本不一致导致的

compile group: 'org.mongodb.spark', name: 'mongo-spark-connector_2.11', version: '2.3.3'

maven central：

https://search.maven.org/search?q=g:org.mongodb.spark%20AND%20a:mongo-spark-connector_2.11&core=gav

可以去这里去找相应的jar即可

九指码农
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Caused by: java.lang.ClassNotFoundException: org.springframework.data.mongodb.MongoDatabaseFactory
道阻且长,行则将至 行而不辍,未来可期
12-20 4302
前言 Caused by: java.lang.ClassNotFoundException: org.springframework.data.mongodb.MongoDatabaseFactory java.lang.IllegalArgumentException: Could not find class [org.springframework.data.mongodb.MongoDatabaseFactory] 2021-12-20 17:20:08.428|ERROR|main|837
Caused by: com.mongodb.MongoTimeoutException: Timed out after 30000 ms
中年程序员一枚的博客
01-25 1269
MongoDB 是一种数据存储方式，没有像传统数据库一样的表结构，能够用 JavaScript 语言来操作数据库，这样就非常方便。但是 MongoDB 原生是没有身份验证机制的，这就意味着你如果不设置密码，别人很容易就能够登录你的数据库，并且随意查看和编辑你的数据，这显然不是我们想看到的结果。因此，在 MongoDB 中设置密码就变得尤为重要。采用阿里云或者其他付费mongodb则需要检查服务器云mongodb，策略是否能连接。看看白名单中是否存在服务器可连接策略。只要做到上面几步，问题应该就解决了。
org.mongodb.spark:mongo-spark-connector_2.11:1.1.0
11-30
mongodb-spark官方连接器，运行spark-submit --packages org.mongodb.spark:mongo-spark-connector_2.11:1.1.0可以自动下载，国内网络不容易下载成功，解压后保存到~/.ivy2目录下即可。
Spark InvalidClassException
qq_42451723的博客
12-10 1826
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
Cannot resolve .....报错问题解决
热门推荐
张老板的博客
05-02 5万+
当导入maven管理的项目后,maven进行自动的下载和解析依赖,有时候因为网络问题,等待太久没下载好,我们就关闭了IDEA,再次打开IDEA时就会报错某某依赖无法解析:Cannot resolve …,是因为我们下载到一半就关闭了IDEA,导致下载的内容不全,所以无法解析. 此时的解决方法是复制报错依赖的版本号前的那段依赖名称:如下图 在utools的everything插件里查找该依赖:如下图 切换到该文件夹,我们就能看待报错的依赖:如下图 我们将该依赖直接删除,或者点击该依赖文件进去找到尾缀为.l
Spark连接MongoDB使用教程
GulfMoon
09-27 1万+
一、前期准备 源自MongoDB官方文档，https://docs.mongodb.com/spark-connector/v1.1/getting-started/  二、编程实现 1. maven工程添加依赖 maven中央仓库搜索：http://mvnrepository.com/artifact/org.mongodb.spark/mongo-spark-connector  ...
已解决java.io.InvalidClassException: 无效的类异常的正确解决方法，亲测有效！！！
最新发布
小明的Java问道之路
04-05 2072
已解决java.io.InvalidClassException: 无效的类异常的正确解决方法，亲测有效！！！
【解决方案】pyspark 初次连接mongo 时报错Class not found exception:com.mongodb.spark.sql.DefaultSource
01-20
 df = spark.read.format(com.mongodb.spark.sql.DefaultSource).load()  File /home/cisco/spark-2.2.0-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/sql/readwriter.py, line 165, in load  
springboot+mongodb报错Caused by: java.net.ConnectException: Connection refused (Connection refused)...
02-07 1088
com.mongodb.MongoSocketOpenException: Exception opening socket at com.mongodb.connection.SocketStream.open(SocketStream.java:63) ~[mongodb-driver-core-3.4.3.jar:na]at com.mongodb.connection.Inte...
Error:java.io.InvalidClassException异常解决
cpuxiansheng的博客
01-06 1730
异常信息： Caused by:java. io. InvalidClassException: com. eastcom xxx.xxxxxx. bean. AlarmReq; local class incompatible: stream classdesc serialversionUID =8050743254081999660, local class seriaiversionuId = 6638111461888145730 异常原因： 对象序列化的时候会存到redis内存中，然后又再通过
mongodb和spark的整合(sparkRDD，sparkSQL)
Loneliness Ends HUHU
10-23 1242
话不多数，代码来了 sparkcore和mongodb package com.bw.day02 import com.mongodb.spark.MongoSpark import com.mongodb.spark.rdd.MongoRDD import org.apache.spark.{SparkConf, SparkContext} import org.bson.Documen...
Caused by: java.io.InvalidClassException: failed to read class descriptor
qq_28433521的博客
11-30 507
Caused by: java.io.InvalidClassException: failed to read class descriptor
java.io.InvalidClassException异常产生原因及解决方案
刘剑峰的博客
04-12 3万+
一、异常发生场景在使用Netty做Android消息推送时，发生了如下异常： io.netty.handler.codec.DecoderException: java.io.InvalidClassException: failed to read class descriptor 很明显这是一个跟编解码相关的异常二、异常产生原因在整个推的项目中，消息是一个Message类，Message必须
java.io.InvalidClassException异常解决
csdn565973850的博客
04-02 1万+
java.io.InvalidClassException异常解决1.什么是serialVersionUID2.java.io.InvalidClassException产生原因？3.java.io.InvalidClassException解决方案4.idea推荐插件 1.什么是serialVersionUID        ...
java.io.InvalidClassException 解决方案
weixin_33860722的博客
06-01 1365
2019独角兽企业重金招聘Python工程师标准>>> ...
从mongoDB，使用SPARK来抓取数据, 主要针对无埋点数据。
m0_37845836的博客
08-12 773
无埋点数据的抓取，这里使用的是growingIO 地址：https://docs.growingio.com/growingio_api_auth.html mongoDB的官方参考：https://docs.mongodb.com/spark-connector/v2.1/scala-api/ 大家好，如有任何问题，可以添加我微信沟通. 我微信:18670490538
Spark排错与优化
yjh314的专栏
07-28 1849
一. 运维 1. Master挂掉,standby重启也失效 Master默认使用512M内存，当集群中运行的任务特别多时，就会挂掉，原因是master会读取每个task的event log日志去生成Spark ui，内存不足自然会OOM，可以在master的运行日志中看到，通过HA启动的master自然也会因为这个原因失败。 解决 增加Master的内存占用，在M
Caused by: com.mongodb.MongoSocketOpenException: Exception opening socket
12-21
根据提供的引用内容，出现"Caused by: com.mongodb.MongoSocketOpenException: Exception opening socket"异常的原因是Spring Boot自动配置了MongoDB，并且在启动时会自动实例化一个Mongo实例。解决这个问题的方法有...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值