运用Spark将数据插入mongodb中,出现上述这样错误,可用以下两种方法试一下:
1.放在spark目录lib下的jar包mongo-spark-connector是否与spark的版本有冲突,
2.spark插入的数据存在decimal,bigint 之类的值,需要插入之前转化成double和 long 类型的,比较麻烦的方法是通过sparkcore遍历每个元素去判断,这个我们就不建议了,还有个比较简单的方式,dataframe转化是decimal,bigint 的数据类型的列,生成新的dataframe然后在写入mongodb
如下举例子:
spark +MongoDB出现报错: Cannot cast BsonValue
最新推荐文章于 2022-03-29 09:57:50 发布