数据仓库建模
仰望星空的我
仰望星空,脚踏实地。
展开
-
第九章 事实表设计之累计快照事实表
累计快照事实表的主要用于研究事件之间时间间隔,当然并不仅限于此,还有一些特殊用途,可以在实际工作中灵活运用。设计特点1)数据不断更新:不同于前面说的两种事实表,累计快照事实表中的数据实例会定期更新。多事务事实表累积快照事实表如上图所示多事务事实表中一条交易记录会每天有一条数据来记录整个交易过程;而累积快照事实表只会有一条记录,数据会一致更新直到过程结束。2)...转载 2019-06-28 14:08:21 · 689 阅读 · 1 评论 -
数据平台维度模型设计十个技巧
了解过数据仓库历史的人都知道Bill Inmon、 Ralph Kimball。 Bill Inmon 代表作《Building the Data WareHouse》 , Ralph Kimball代表作为 《The Data Warehouse Toolkit》、《The data Warehouse lifecycle》。两位大师对数据模型都分别作了深入阐述,个人理解的数据模型是数据平台的灵...转载 2019-07-04 15:45:21 · 862 阅读 · 0 评论 -
数据仓库数据模型之:极限存储–历史拉链表
在数据仓库的数据模型设计过程中,经常会遇到这样的需求:数据量比较大; 2. 表中的部分字段会被update,如用户的地址,产品的描述信息,订单的状态等等; 3. 需要查看某一个时间点或者时间段的历史快照信息,比如,查看某一个订单在历史某一个时间点的状态, 比如,查看某一个用户在过去某一段时间内,更新过几次等等; 4. 变化的比例和频率不是很大,比如,总共有1000万的会员,每天新增和发...转载 2019-06-28 15:35:04 · 344 阅读 · 0 评论 -
累积快照事实表
累积快照事实表的行汇总了发生在过程开始和结束之间可预测步骤内的度量事件。管道或工作流过程(例如,履行订单或索赔过程)具有定义的开始点,标准中间过程,定义的结束点,它们在此类事实表中都可以被建模。通常在事实表中针对过程中的关键步骤都包含日期外键。累积快照事实表中的一行,对应某一具体的订单,当订单产生时会插入一行。当管道过程发生时,累积事实表行被访问并修改。这种对累积快照事实表行的一致性修改在三种类型...转载 2019-06-28 14:30:33 · 1161 阅读 · 0 评论 -
周期快照事实表和累计快照事实表
累计快照事实表的这种最简单的实现方法中没有给出保留中间点的历史信息的方法,如订单本身的变化。至少有三种方法可以用来捕获这种中间的状态的变化:1.在诸如月末等的固定时间间隔对累计快照再进行快照处理,即联合使用周期快照和累计快照技术。这种累计快照的周期快照事实表应该被建立为单独的事实表,可以降低应用的复杂性。在这样建立的快照表中,好处是在订单存活期间,每个月可以得到这个订单变化的一条记录,坏处...转载 2019-06-28 14:27:49 · 5753 阅读 · 0 评论 -
交易事实表、周期快照事实表和累积快照事实表
在数据仓库领域有一个概念叫Transaction fact table,中文一般翻译为“事务事实表”。事务事实表是维度建模的数据仓库中三种基本类型事实表中的一种,另外两种分别是周期快照事实表和累积快照事实表。事务事实表与周期快照事实表、累积快照事实表使用相同的一致性维度,但是它们在描述业务事实方面是有着非常大的差异的。事务事实表记录的事务层面的事实,保存的是最原子的数据,也称“原子事实表”。...转载 2019-06-28 14:21:02 · 2639 阅读 · 0 评论 -
第九章 事实表设计之周期快照事实表
想象以下场景,需要统计一个季度的商品成交量怎么取做?如果用一个季度内的事实事务表进行计算,虽然可以得出结果但是效率太低,在实际生产中并不可行,因此,需要定期对指定的度量进行整合,作为周期快照表用于下游应用。一般设计事实表时,事务事实表和周期快照表是成对设计的,大部分的周期表由事务表加工产生,还有部分特殊数据是直接应用系统产生(如订单评价)。特性1)统计的是间隔周期内的度量统计,如历史至今、...转载 2019-06-28 14:15:39 · 742 阅读 · 0 评论