![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MongoDB
帮我消消黑眼圈!
敬畏每一行代码
展开
-
彻底解决错误(Incorrect string value: ‘\xF0\x9F\x98\xA3\xF0\x9F...‘ for column ‘realname‘)saprk-mysql
问题描述用spark同步mongo的数据存到mysql中,偶遇字段realname的值中有个表包含Emoji表情或者某些特殊字符,导致数据写不到mysql中 ----任务失败;一开始错误的思路是找到这条数据把它给过滤掉,try试了n多次依旧不好使,不得已只能换个思路继续搬砖,打开我们万能的github问题才得以解决。github的项目地址:https://github.com/cattom114/emoji-java解决步骤1、 在pom文件中一如依赖 ...原创 2020-09-13 15:57:43 · 3730 阅读 · 0 评论 -
com.mongodb.spark.exceptions.MongoTypeConversionException: Cannot cast INT32 into a NullType的解决
mogo原生数据用spark取抽取过来之后老是报这个错误Cannot cast INT32 into a NullType类型转换异常阅读官方文档:mogo为非关系型数据库,相同的字段会存不同的类型的值,sampleSize这个参数在抽取的时候会默认取1000个样本,null的数据到达一定数量以后就会将原来的int转为null,从而出现以上错误,(具体是多少数量未知),...原创 2019-11-21 09:24:26 · 1314 阅读 · 0 评论 -
用spark从MongoDB抽取数据存到MySQL(数据少一条)
从MongoDB里面用spark抽取数据增量存到MySQL,十天以后发现数据少一条,少了的那一条MongoDB原始数据:spark读取过来的数据:存到MySQ里面的数据:MySQL的表结构:问题原因:存入MySQL时间精度损失造成时间变为2019-11-03 ,到2019-11-04再跑2019-11-03数据的时候,(spark代码内置先删除,后插入,...原创 2019-11-13 11:58:19 · 499 阅读 · 0 评论