数据建模
文章平均质量分 63
lianchaozhao
这个作者很懒,什么都没留下…
展开
-
数据仓库建模 事件杂记
dwd 建议用范式建模 mid dws 应用维度建模原创 2021-01-08 19:42:07 · 275 阅读 · 0 评论 -
数据仓库主题八-(事实表思想)
事实表作为数据仓库维度建模的核心,紧紧围绕着业务工程来设计,通过获取描述业务过程的度量来表达业务工程,包含了引用的维度和与业务工程有关的度量。原创 2020-10-12 16:30:16 · 1251 阅读 · 3 评论 -
数据仓库主题七-(维度变化和特殊维度问题)
一、维度设计之维度变化1、数据仓库的重要特点之一是反映历史变化,,维度的属性并不是静态的,它会随着时间的流逝发生缓慢的变化与数据增长较为快速的事实表相比,维度变化相对缓慢。在一些情况下,我们需要保留历史数进行分析。所以我们需要对缓慢变化的维度进行设计和处理。在 Kimball 的理论中,种处理缓慢变化维的方式,下面通过简单的实例进行说明,具体细节请翻阅 Kimball 的相关书籍。todo 待更新二、维度设计值特殊维度...原创 2020-09-09 11:50:26 · 2447 阅读 · 0 评论 -
数据仓库主题六-(维度设计之整合和拆分)
数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合,用来支持管理人员的决策。其中集成是数据仓库的四个特性中最重要的一个。数据仓库的重要数据来源是大量的、分散的面向应用的操作型环境。不同的应用在设计过程中,可以自由决策 ,主要满足本应用的需求,很少会考虑和其他系统进行数据集成。应用之间的差异具体表现在如下几个方面:todo...原创 2020-08-21 17:17:46 · 2384 阅读 · 3 评论 -
数据仓库主题五-(维度设计)
一、概述1、概念维度建模思想事数据仓库领域的另一位大师 Ralph Kimball 所倡导,按照书中主要思想,维度建模并不要求维度建模满足三范式,数据库中强调3NF 主要是为了消除冗余。规范化的 3NF 将数据划分为多个不同的实体,每个实体构成一个关系表。比如说订单数据库,开始可能是每个订单中的一行表示一条记录,到后来为了满足3NF会变成类似蜘蛛网状图。也许会包含上百个规范化表。而且对于BI查询来讲,规范化模型太复杂,用户会难以理解这些记录和模型的使用。而且维度建模解决了模型过于复杂的问题。维度是维度原创 2020-08-18 16:21:59 · 867 阅读 · 0 评论 -
数据仓库主题四--(表命名规范)
待总结 todo原创 2020-08-07 11:29:39 · 10452 阅读 · 1 评论 -
数据仓库主题三-(实施篇)
背景:如何从具体的需求或项目转换为可实施的解决方案,如何进行需求分析、架构设计、详细模型设计等,则是模型实施过程中讨论的内容。原创 2020-08-10 17:58:20 · 938 阅读 · 0 评论 -
数据仓库主题二(分层和原则)
一、数据仓库分层阿里巴巴的数据团队把表数据模型分为三层 :操作数据层( ODS )、公共维度模型层( CDM)和应用数据层( DWS ), 其中公共维度模型层包括明细数据层( DWD )和汇总数据层( ADS )。现在自己接触到的公司基本都把自己数据仓库模仿阿里。构建四层数据结构 (ODS、DWD、DWS、ADS)或者增加一层简单清洗过滤层(主要是简单过滤清洗ODS层数据)。1、各层作用操作数据层( ODS ):把操作系统数据几乎无处理地存放在数据仓库系统中。同步:结构化数据增量或全量同步到数据仓库原创 2020-08-10 11:09:46 · 2170 阅读 · 0 评论 -
数据仓库主题一(宽表模型设计)
todo 整理和心得原创 2020-07-16 14:26:21 · 13814 阅读 · 1 评论 -
数据仓库主题十-(周期快照事实表)
综述当我们在实际工作过程中涉及到一些指标的计算比如账户余额、买卖家星级 商品库存、卖家累积交易额等计算中,则需要聚集与之相关的事务才能进行识别计 ;或者聚集事务无法识别 ,比如 温度等。对于这些状态度量,事务事实表是无效率的,而这些度量也和度量事务本身一样是有用的 ,因此, 维度建模理论给出了第二种常见的事实表一一周期快照事实表,简称“快照事实表”。快照事实表:在确定时间间隔内对实体的度量进行抽样,这样可以很容易的研究实体的度量值,而不需要要聚集长期 事务历史。接下来将以淘宝交易结束后的评价数据、卖家原创 2020-10-20 16:52:29 · 8778 阅读 · 1 评论 -
数据仓库主题九-(事务事实表)
对于单事务事实表,一个业务过程建立一个事实表,只反映一个业务过程的事实 对于多事务事实表,在同一个事实表中反映多个业务过程。多个业务过程是否放到同一个事实表中。原创 2020-10-13 18:01:51 · 3044 阅读 · 4 评论