etl构建数据仓库五步法_ETL构建数据仓库五步法

本文详细介绍了ETL构建企业级数据仓库的五步法,包括确定主题、量度、事实数据粒度、维度以及创建事实表。强调了ETL在数据仓库中的重要性,同时探讨了数据仓库的架构,如星型和雪花型架构。文章还提到了ETL的高级技巧,如准备区、时间戳、日志表的运用以及调度策略,对于理解数据仓库的构建流程非常有帮助。
摘要由CSDN通过智能技术生成

ETL构建企业级数据仓库五步法

在数据仓库构建中,ETL贯穿于项目始终,它是整个数据仓库的生命线,包括了从数据清洗,整合,到转换,加载等的各个过程,如果说数据仓库是一座大 厦,那 么ETL就是大厦的根基,ETL抽取整合数据的好坏直接影响到最终的结果展现。所以ETL在整个数据仓库项目中起着十分关键的作用,必须摆到十分重要的位 置。

一、什么是ETL

ETL是数据抽取(Extract)、转换(Transform)、加载(Load

)的简写,它是将OLTP系统中的数据经过抽取,并将不同数据源的数据进行转换、整合,得出一致性的数据,然后加载到数据仓库中。简而言之ETL是完成从

OLTP系统到OLAP系统的过程(图一:pic1.jpg)。

二、数据仓库的架构

数据仓库(Data Warehouse \

DW)是基于OLTP系统的数据源,为了便于多维分析和

多角度展现将其数据按特定的模式进行存储而建立的关系型数据库,它不同于多维数据库,数据仓库中的数据是细节的,集成的,数据仓库是面向主题的,是以

OLAP系统为分析目的。它包括星型架构(图二:pic2.jpg)与雪花型架构(图三:pic3.jpg),其中星型架构中间为事实表,四周为维度表,

类似星星;雪花型架构中间为事实表,两边的维度表可以再有其关联子表,而在星型中只允许一张表作为维度表与事实表关联,雪花型一维度可以有多张表,而星型

不可以。考虑到效率时,星型聚合快,效率高,不过雪花型结构明确,便于与OLTP系统交互。在实际项目中,我们将综合运用星型架构与雪花型架构。

三、ETL构建企业级数据仓库五步法的流程

(一)、确定主题

确定数据分析或前端展现的某一方面的分析主题,例如我们分析某年某月某一地区的啤酒销售情况,就是一个主题。主题要体现某一方面的各分析角度(维度)和统

计数值型数据(量度),确定主题时要综合考虑,一个主题在数据仓库中即为一个数据集市,数据集市体现了某一方面的信息,多个数据集市构成了数据仓库。

(二)、确定量度

确定了主题以后,我们将考虑要分析的技术指标,诸如年销售额此类,一般为数值型数据ÿ

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值