数据仓库
文章平均质量分 82
果木
这个作者很懒,什么都没留下…
展开
-
hash join 原理简介-Rdbms Sql Join实现方式一
引申Join是SQL语句中的常用操作,良好的表结构能够将数据分散在不同的表中,使其符合某种范式,减少表冗余、更新容错等。而建立表和表之间关系的最佳方式就是Join操作join 连接,本质上是数据集的关联操作,不管是传统的rdbms 关系型数据库如oracle、mysql 还是现在大数据平台组件如hive 、spark sql都常用此连接逻辑而hash join 是实现join操作的重要方式之一,此外还有nested loop、sort merge join。很多文章都直接写原理,业务一笔带过,所原创 2021-03-08 16:57:41 · 1785 阅读 · 2 评论 -
一文搞懂mysql两大重要存储引擎innodb和myisam区别-业务优化实战mysql5.7
业务问题mysql5.7 版本,一个一百万数据表 a, 一个3千多的维表 a 一个两百多的维表补充表 b,业务逻辑如下:维表a和维表b关联 ,拿到在表a且不在表b的数据,结果记为b1 大表a和b1关联 ,且要筛选a表的数据时间区间在一年内 最后基于第二步结果 对大a表发现机构字段、b1表指标编号、违法行为为维度 做分组聚合 求违法数sql如下:select rpad(substr(fxjg,1,4),10,'0') fxjg,a.zbbh,a.zbmc,sum(wfnum) .原创 2021-01-28 15:58:18 · 198 阅读 · 0 评论 -
元数据管理系统解决方案及产品调研-数仓系列(一)
元数据管理系统产品选型分析 1 概述 需要给目前数据仓库适用一套元数据管理系统,目的 减少人为的维护工作量、web页面协同工作(多人统一入口使用)、元数据权限管理等 1.1 应用背景 目前数据仓库没有专业的元数据管理系统,部分业务模型使用excel文档维护,分散、协同性不好。没有权限管理 1.2 业务目的 减少人为的维护工作量、web页面协同工作(多人统一入口适用),为数据仓库长远高质量发...原创 2018-06-30 19:05:03 · 24627 阅读 · 1 评论 -
mongodb入门-关系型RDMS数据库对比及适用场景
引言 最近工作接触到了mongodb数据库,记录下个人对其的理解和使用情况。虽然mongodb 出来的时间已经不短,但是相对mysql mssql oracle 这样传统的关系型数据库来说还是比较年轻,接触其的程序员应该也很少,本文从仅作介绍用。名字看MongoDB疑似Humongous Database(网络资料看到)。中文意思就是巨大无比的数据库,顾名思义,MongoDB就是为处理...原创 2018-08-18 21:20:49 · 1619 阅读 · 2 评论