大数据之数据仓库概念、四个特性、主流架构

大数据之数据仓库概念、四个特性、主流架构

一、数据仓库概念：

数据仓库是一个面向主题的、 集成的、 相对稳定的、 反映历史变化的数据集合，用于支持管理决策。是一个过程 ，一个解决方案，一套方法论，不是一个具体产品。

二、数据仓库特点：面向主题、集成、稳定、反应历史变化

面向主题：操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点（业务）方面，一个主题通常与多个操作型信息系统相关。

集成：面向事务处理的操作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构，而数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。

稳定的： 操作型数据库中的数据通常实时更新，数据根据需要及时发生变化。数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。

反应历史变化 ：操作型数据库主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。

三、主流架构

1. STG层（卸数层）：将数据从数据源导入数据仓库。
2. ODS层(操作数据存储)：按业务归属合并存储数据，同时进行脱敏和清洗。以订单支付这个业务过程为例，则是订单粒度的变更过程，一笔订单有多条记录。
3. IDM层（整合明细层）:按照业务过程对数据进行整合。以订单支付为例，则是一笔订单只有一条支付记录。
4. SDM层（共性加工层）：按照业务的共同属性对数据进行整合。以订单支付为例，一个卖家只有一条实时成交金额。
5. DM层（数据集市）：生成各个主体报表。