数仓架构方案
背景
随着公司业务深入,需要打造几个精品级产品,精品级产品不仅要满足用户统计需求,还须兼顾分析,但现状是业务数据存储多样且分散,大部分数据无法直接取用,需要管理和重组数据,而且与业务相关的标签类设置数据和部分初级汇总数据统计偏复杂,无法适应业务多样性统计需求。这个时候数据仓库就应运而生
数据仓库
数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。其实数据仓库本身并不“生产”任何数据,同时自身也不需要“消费”任何的数据,数据来源于外部,并且开放给外部应用,这也是为什么叫“仓库”,而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的过程,可以分为三层——源数据、数据仓库、数据应用:
1. 一个集成的面向主题的数据集合,设计的目的是支持DSS(决策支持系统)的功能,在数据仓库里,每个数据单元都和特定的时间相关;
2. 数据仓库包括原子级别的数据和轻度汇总的数据;
3. 数据仓库是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化(不同时间)的数据集合,用以支持经营管理中的决策制定过程,数据仓库是重建企业数据和信息流的过程,在这个过程中,构造企业的决策支持环境,以区别原来的业务系统所构建的操作型环境,其价值在于获得足够的信息和有质量的分析结果。
数据仓库常用系统架构
(图片来源于网络)
指标(度量)就是从维度的基础上去衡算这个结果的值,一般是一个连续的值。
以开关机业务为例简单例举几个指标样例数据,如下表所示
业务限定:开关机业务 |