![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
文章平均质量分 76
没有文化,啥也不会
这个作者很懒,什么都没留下…
展开
-
centos 7 安装mysql
前言centos 7默认数据库为mariaDB,安装mysql前需要先卸载mariaDB。安装mysql安装包下载:https://dev.mysql.com/downloads/mysql/5.7.html查看mariaDB是否安装[root@kudu1 mysql-libs]# rpm -qa|grep mariadbmariadb-libs-5.5.56-2.el7.x86_64卸载mariaDB[root@kudu1 mysql-libs]# rpm -e -原创 2020-08-15 22:51:13 · 544 阅读 · 0 评论 -
大数据:如何应对一天抽多批次数据,且批次间包含重复数据的情况
公司datalake重构项目,由于特殊原因,从原数据库拉取数据到大数据平台的最小时间单位为天,也就是说,如果当天11点抽了数据,但是原数据库在下午2点又补数据了,那么再次抽数据的话,第二批次的数据会包含一批次的数据(那么数据就重复了)。但是可能在大数据平台dws层已经对上一批次的数据进行过计算了,如果删除并重跑一整天的数据,会影响业务(可能领导已经看过展示了),而且有些表是以月份作为分区,一次数据错误,可能得重跑一整个月的数据。原创 2020-06-24 18:18:58 · 1587 阅读 · 0 评论 -
SQL骚套路笔记
1.在统计函数中传入判断语句在count()函数中嵌套if判断语句,如果符合条件则为1,不符合则为2。效果等同于先where过滤,再count(*).--使用if作为count的参数select count(if(year='2020',1,null)) from pos_rival;--先过滤,再countselect count(1) from pos_rival where year='2020';--两者结果一致基于此,可以使用一条语句统计多个count或sum等结果,如:原创 2020-06-24 12:46:06 · 2075 阅读 · 0 评论