ETL构建企业级数据仓库五步法
在数据仓库构建中,ETL贯穿于项目始终,它是整个数据仓库的生命线,包括了从数据清洗,整合,到转换,加载等的各个过程,如果说数据仓库是一座大 厦,那 么ETL就是大厦的根基,ETL抽取整合数据的好坏直接影响到最终的结果展现。所以ETL在整个数据仓库项目中起着十分关键的作用,必须摆到十分重要的位 置。
一、什么是ETL
ETL是数据抽取(Extract)、转换(Transform)、加载(Load
)的简写,它是将OLTP系统中的数据经过抽取,并将不同数据源的数据进行转换、整合,得出一致性的数据,然后加载到数据仓库中。简而言之ETL是完成从
OLTP系统到OLAP系统的过程(图一:pic1.jpg)。
二、数据仓库的架构
数据仓库(Data Warehouse \
DW)是基于OLTP系统的数据源,为了便于多维分析和
多角度展现将其数据按特定的模式进行存储而建立的关系型数据库,它不同于多维数据库,数据仓库中的数据是细节的,集成的,数据仓库是面向主题的,是以
OLAP系统为分析目的。它包括星型架构(图二:pic2.jpg)与雪花型架构(图三:pic3.jpg),其中星型架构中间为事实表,四周为维度表,
类似星星;雪花型架构中间为事实表,两边的维度表可以再有其关联子表,而在星型中只允许一张表作为维度表与事实表关联,雪花型一维度可以有多张表,而星型
不可以。考虑到效率时,星型聚合快,效率高,不过雪花型结构明确,便于与OLTP系统交互。在实际项目中,我们将综合运用星型架构与雪花型架构。
三、ETL构建企业级数据仓库五步法的流程
(一)、确定主题
即
确定数据分析或前端展现的某一方面的分析主题,例如我们分析某年某月某一地区的啤酒销售情况,就是一个主题。主题要体现某一方面的各分析角度(维度)和统
计数值型数据(量度),确定主题时要综合考虑,一个主题在数据仓库中即为一个数据集市,数据集市体现了某一方面的信息,多个数据集市构成了数据仓库。
(二)、确定量度
在
确定了主题以后,我们将考虑要分析的技术指标,诸如年销售额此类,一般为数值型数据ÿ