MongoDB
帮我消消黑眼圈!
敬畏每一行代码
展开
-
彻底解决错误(Incorrect string value: ‘\xF0\x9F\x98\xA3\xF0\x9F...‘ for column ‘realname‘)saprk-mysql
问题描述 用spark同步mongo的数据存到mysql中,偶遇字段realname的值中有个表包含Emoji表情或者某些特殊字符,导致数据写不到mysql中 ----任务失败; 一开始错误的思路是找到这条数据把它给过滤掉,try试了n多次依旧不好使,不得已只能换个思路继续搬砖, 打开我们万能的github问题才得以解决。 github的项目地址: https://github.com/cattom114/emoji-java 解决步骤 1、 在pom文件中一如依赖 ...原创 2020-09-13 15:57:43 · 3712 阅读 · 0 评论 -
com.mongodb.spark.exceptions.MongoTypeConversionException: Cannot cast INT32 into a NullType的解决
mogo原生数据 用spark取抽取过来之后老是报这个错误Cannot cast INT32 into a NullType类型转换异常 阅读官方文档: mogo为非关系型数据库,相同的字段会存不同的类型的值, sampleSize这个参数在抽取的时候会默认取1000个样本,null的数据到达一定数量以后就会将原来的int转为null,从而出现以上错误,(具体是多少数量未知), ...原创 2019-11-21 09:24:26 · 1274 阅读 · 0 评论 -
用spark从MongoDB抽取数据存到MySQL(数据少一条)
从MongoDB里面用spark抽取数据增量存到MySQL,十天以后发现数据少一条, 少了的那一条MongoDB原始数据: spark读取过来的数据: 存到MySQ里面的数据: MySQL的表结构: 问题原因:存入MySQL时间精度损失造成时间变为2019-11-03 ,到2019-11-04再跑2019-11-03数据的时候,(spark代码内置先删除,后插入,...原创 2019-11-13 11:58:19 · 467 阅读 · 0 评论