数据仓库流程&架构(一)
定义
数据仓库是逻辑上的概念,是一个数据集合。
数据仓库中的数据有这两个特点:
- 最全的历史数据(海量);
- 相对稳定的:不同于业务系统数据库,数据经常会被更新。数据一旦进入数 据仓库,很少会被更新和删除,只会被大量查询。
数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持。其实数据仓库本身并不“生产”任何数据,同时自身也不需要“消费”任何的数据,数据来源于外部,并且开放给外部应用,这也是为什么叫“仓库”,而不叫“工厂”的原因。
流程
数据仓库的基本流程主要是数据流入流出的过程。可分为四个主要步骤。
####数据源采集
此过程的目的是将数据从不同数据源采集并存储下来。接入的大部分是未做处理的明细数据。数据源多种多样,要针对不同的数据源采取不同的采集方式。有时候可做简单清洗和过滤。常见的数据源有:业务日志、关系型数据库&#