![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MySQL
帮我消消黑眼圈!
敬畏每一行代码
展开
-
MySQL可怕的笛卡尔积
以前总说笛卡尔积会引起数据膨胀,都没当回事,当你遇见的时候,才知道它有多可怕,还好服务器没有被我跑挂掉;mysql的查询语句如下:selecta.id,b.cidfrom a inner join b on a.user_name=b.user_name and b.registerdate='2021-01-24'where a.registerdate='2021-01-24'写了一个存储过程,按照用户的注册日期去一天一天的追加历史数据,a表和b表的的关联字段,注册日期字段.原创 2021-01-24 20:33:19 · 3303 阅读 · 1 评论 -
sqoop抽取mysql的数据到hive表里面,字段内容被自动截取,导致字段不全的问题解决
今天央视重新转播NBA,写篇博客纪念一下这个重要的日子,湖人的表现就呵呵了!!!!强行转到博客的主题来mysql的字段属性:该字段能存下的值比如:“山东”`province` varchar(3) NOT NULL COMMENT '省份'用sqoopsqoop import --connect "jdbc:mysql://xxxxxx:3306/xxxxxx?tinyInt1isBit=false&zeroDateTimeBehavior=convertToNull..原创 2020-10-10 19:54:30 · 796 阅读 · 0 评论 -
彻底解决错误(Incorrect string value: ‘\xF0\x9F\x98\xA3\xF0\x9F...‘ for column ‘realname‘)saprk-mysql
问题描述用spark同步mongo的数据存到mysql中,偶遇字段realname的值中有个表包含Emoji表情或者某些特殊字符,导致数据写不到mysql中 ----任务失败;一开始错误的思路是找到这条数据把它给过滤掉,try试了n多次依旧不好使,不得已只能换个思路继续搬砖,打开我们万能的github问题才得以解决。github的项目地址:https://github.com/cattom114/emoji-java解决步骤1、 在pom文件中一如依赖 ...原创 2020-09-13 15:57:43 · 3730 阅读 · 0 评论 -
用spark从MongoDB抽取数据存到MySQL(数据少一条)
从MongoDB里面用spark抽取数据增量存到MySQL,十天以后发现数据少一条,少了的那一条MongoDB原始数据:spark读取过来的数据:存到MySQ里面的数据:MySQL的表结构:问题原因:存入MySQL时间精度损失造成时间变为2019-11-03 ,到2019-11-04再跑2019-11-03数据的时候,(spark代码内置先删除,后插入,...原创 2019-11-13 11:58:19 · 499 阅读 · 0 评论 -
MySQL高可用
1. MGR简介基于传统异步复制和半同步复制的缺陷——数据的一致性问题无法保证,MySQL官方在5.7.17版本正式推出组复制(MySQL Group Replication,简称MGR)。由若干个节点共同组成一个复制组,一个事务的提交,必须经过组内大多数节点(N / 2 + 1)决议并通过,才能得以提交。如上图所示,由3个节点组成一个复制组,Consensus层为一致性协议层,在事务提交...原创 2019-09-01 10:29:03 · 391 阅读 · 0 评论 -
MySQL中rank函数实现(@i := 0)
要在mysql中声明一个变量,你必须在变量名之前使用@符号。FROM子句中的(@i := 0)部分允许我们进行变量初始化数据来源:https://blog.csdn.net/fashion2014/article/details/78826299#commentsedit在MySQL中实现Rank高级排名函数https://www.jianshu....原创 2019-09-20 17:48:26 · 12162 阅读 · 0 评论