数仓
文章平均质量分 85
ooobenooo
这个作者很懒,什么都没留下…
展开
-
数据治理(Data Governance)
什么是数据治理?百度百科解释:数据治理(Data Governance)是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发起并推行,关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。国际数据管理协会(DAMA)给出的定义:数据治理是对数据资产管理行使权力和控制的活动集合。国际数据治理研究所(DGI)给出的定义:数据治理是一个通过一系列信息相关的过程来实现决策权和职责分工的系统,这些过程按照达成共识的模型来执行,该模型描述了谁(Who)能根据什么信息,在什么原创 2020-05-28 11:02:21 · 2085 阅读 · 0 评论 -
主数据管理(Master Data Management)
一、什么是主数据?主数据是为了解决企业对数据一致性、时效性的需求应运而生。主数据是用于描述企业运营过程中最为关心的核心数据。它通常更新不频繁,它不是事务性的但用于描述事务。最为典型的主数据例如客户(Customer)、产品(Product)、地区(Locatioin)等。主数据应该是企业全量数据的一小部分,但是最复杂和最有价值的部分。如何识别主数据?准则一:主数据能与其它数据交互。例如在交易系统,主数据一般是名词,事务性数据是动词描述,举例“客户购买了产品”,在数据仓库中,主数据相当于维表,原创 2020-05-26 10:54:48 · 3567 阅读 · 0 评论 -
数据仓库 - 树形结构的维表开发实践
一、概述根据星型模型的概念,不存在渐变维度,数据存在冗,典型例子地域维度表,如国家,省,市这种存在上下级关系的数据结构。OLTP数据结构:id pid name 1 中国 2 1 广东省 3 2 深圳 星型模型数据结构:id country province city level 1 中国 UNKNOWN UNKNOWN 0 2 中国 广东省 UNKN.原创 2020-05-14 19:59:48 · 705 阅读 · 1 评论 -
数据仓库 - 事实表开发实践(IoT场景)
一、事实表分类1. 以粒度划分(1) 事务事实表(Transaction Grain Fact Table)一条记录代表了业务系统中的一个事件。事务出现后,就会在事实中出现一条记录。以订单域举例:下单是一个事实;付款是一个事实;退款是一个事实。(2) 周期快照事实表(Periodic Snapshot Grain Fact Table)记录指定周期内一些聚集事务值或者度量状态。如:库存日快照事实表(3) 累积快照事实表(Accumulating Snapshot Grain Fact原创 2020-05-12 15:23:59 · 572 阅读 · 0 评论 -
数据仓库 - 拉链表开发实践
一、什么是拉链表拉链表是针对数据仓库设计中表存储数据的方式而定义的,顾名思义,所谓拉链,就是记录历史。记录一个事物从开始,一直到当前状态的所有变化的信息。二、拉链表开发案例:客户数据拉链表2x01 表设计表 存储介质 T_CUSTOMER MySQL ODS_T_CUSTOMER HIVE TMP_CUSTOMER MPP DIM_CUSTOMER MPP 操作系统数据表:T_CUSTOMER字段 类型 备注 cid原创 2020-05-11 19:53:20 · 598 阅读 · 0 评论