ETL四个阶段

转载 2012年03月26日 15:58:52
数据仓库构建方法中,ETL的过程和传统的实现方法有一些不同,主要分为四个阶段,分别是抽取

(extract)、清洗(clean)、一致性处理(comform)和交付(delivery),简称为ECCD。

1.抽取阶段的主要任务是:

     读取源系统的数据模型。

     连接并访问源系统的数据。

     变化数据捕获。

     抽取数据到数据准备区。

2.清洗阶段的主要任务是:

     清洗并增补列的属性。

     清洗并增补数据结构。

     清洗并增补数据规则。

     增补复杂的业务规则。

     建立元数据库描述数据质量。

     将清洗后的数据保存到数据准备区。

3.一致性处理阶段的主要任务是:

     一致性处理业务标签,即维度表中的描述属性。

     一致性处理业务度量及性能指标,通常是事实表中的事实。

     去除重复数据。

     国际化处理。

     将一致性处理后的数据保存到数据准备区。

4.交付阶段的主要任务是:

     加载星型的和经过雪花处理的维度表数据。

     产生日期维度。

     加载退化维度。

     加载子维度。

     加载1、2、3型的缓慢变化维度。

     处理迟到的维度和迟到的事实。

     加载多值维度。

     加载有复杂层级结构的维度。

     加载文本事实到维度表。

     处理事实表的代理键。

     加载三个基本类型的事实表数据。

     加载和更新聚集。

     将处理好的数据加载到数据仓库。

 

        从这个任务列表中可以看出,ETL的过程和数据仓库建模的过程结合的非常紧密。换句话说,ETL系统的设

计应该和目标表的设计同时开始。通常来说,数据仓库架构师和ETL系统设计师是同一个人。


相关文章推荐

ETL的四个基本过程.

转自:http://www.chinabi.net/blog/user1/lastwood/archives/2006/888.html What are the four basic da...
  • nvd11
  • nvd11
  • 2013年11月04日 22:59
  • 1456

ETL方法与过程讲解

1 ETL基本概念和术语1.1 ETLExtract-Transform-Load的缩写,数据抽取(Extract)、转换(Transform)、装载(Load)的过程。1.2 DWDataWareh...

BI开发流程和ETL介绍

BI开发流程和ETL介绍 ETL中的E->(ODS->SDE->SIL)(强大的ETL工具)ETL中的T-> ETL中的L->DW->BIEE(RPD物理)-> BIEE(RPD逻辑)-> BIEE...

维度模型数据仓库(十八) —— 迟到的事实

(五)进阶技术         13. 迟到的事实         装载日期在生效日期后的事实就是迟到的事实。晚于订单日期进入源数据的销售订单可以看做是一个迟到事实的例子。销售订单被装载进其事实表时,...
  • wzy0623
  • wzy0623
  • 2015年11月19日 10:09
  • 1356

自己抓的DHCP四个阶段的包

  • 2012年04月24日 11:14
  • 1.31MB
  • 下载

网站推广四个阶段不同的操作方法分享

网站的发展分为资格不同的时期:关键词排名前期、关键词排名中期、关键词排名中后期、关键词排名后期。根据网站发展的不同时期推广方式也不一样,划分主要依据关键词排名程度来划分。 ​     一、关键词排...
  • seojq
  • seojq
  • 2017年07月18日 10:14
  • 77

gcc编译程序的四个阶段(预处理-编译-汇编-链接)

gcc的编译流程分为四个步骤,分别为: ・ 预处理(Pre-Processing) ・ 编译(Compiling) ・ 汇编(Assembling) ・ 链接(Linking) 下面就具体来查看一下g...

2. 程序编译的四个阶段

0.引言hello.c(源程序)是一条高级C语言程序,虽然它是以一种易读的形式,让人们容易理解。但是,它却无法直接驱动硬件CPU直接执行。为了我们编写的hello.c程序可以被执行,驱动硬件电路工作,...

工程师职业发展的四个阶段

工程师职业发展的四个阶段
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:ETL四个阶段
举报原因:
原因补充:

(最多只允许输入30个字)