ETL四个阶段

转载 2012年03月26日 15:58:52
数据仓库构建方法中,ETL的过程和传统的实现方法有一些不同,主要分为四个阶段,分别是抽取

(extract)、清洗(clean)、一致性处理(comform)和交付(delivery),简称为ECCD。

1.抽取阶段的主要任务是:

     读取源系统的数据模型。

     连接并访问源系统的数据。

     变化数据捕获。

     抽取数据到数据准备区。

2.清洗阶段的主要任务是:

     清洗并增补列的属性。

     清洗并增补数据结构。

     清洗并增补数据规则。

     增补复杂的业务规则。

     建立元数据库描述数据质量。

     将清洗后的数据保存到数据准备区。

3.一致性处理阶段的主要任务是:

     一致性处理业务标签,即维度表中的描述属性。

     一致性处理业务度量及性能指标,通常是事实表中的事实。

     去除重复数据。

     国际化处理。

     将一致性处理后的数据保存到数据准备区。

4.交付阶段的主要任务是:

     加载星型的和经过雪花处理的维度表数据。

     产生日期维度。

     加载退化维度。

     加载子维度。

     加载1、2、3型的缓慢变化维度。

     处理迟到的维度和迟到的事实。

     加载多值维度。

     加载有复杂层级结构的维度。

     加载文本事实到维度表。

     处理事实表的代理键。

     加载三个基本类型的事实表数据。

     加载和更新聚集。

     将处理好的数据加载到数据仓库。

 

        从这个任务列表中可以看出,ETL的过程和数据仓库建模的过程结合的非常紧密。换句话说,ETL系统的设

计应该和目标表的设计同时开始。通常来说,数据仓库架构师和ETL系统设计师是同一个人。


ETL的四个基本过程.

转自:http://www.chinabi.net/blog/user1/lastwood/archives/2006/888.html What are the four basic da...
  • nvd11
  • nvd11
  • 2013年11月04日 22:59
  • 1652

人工智能的四个阶段

人工智能的四个阶段                                                                                          ...
  • xy_main
  • xy_main
  • 2014年03月01日 12:14
  • 3361

软件开发生命周期的四个阶段

规划阶段          规划阶段是理解为什么要建立一个信息系统以及确定如何建设的基础。规划阶段由两个步骤: 1.      项目启动期间,系统对于组织的业务价值已经被确认:如何降低成本或增加收...
  • weixin_40922938
  • weixin_40922938
  • 2017年12月13日 13:58
  • 182

成为一名程序员的四个阶段!!!

 分类:成长篇    通过以下4个阶段的训练, 没有任何编程基础人就可以成为一名普通的程序员。 第一阶段:掌握一种编程语言     学习内容:学习任意一种主流的编程语言。例如C++语言。     学习...
  • lvwenshuai
  • lvwenshuai
  • 2007年10月15日 23:35
  • 625

GCC编译的四个阶段

gcc编译流程分为4个步骤,分别为:
  • bupt073114
  • bupt073114
  • 2014年07月05日 15:21
  • 3128

软件测试的四个阶段

软件测试的对象包括软件需求、概要设计、详细设计、软件运行环境、可运行程序和软件源代码等。软件测试包括质量、人员、资源、技术和流程五大要素,以及测试覆盖率和测试效率两个目标。软件测试一般分为4个阶段:单...
  • steve_yanrun
  • steve_yanrun
  • 2016年08月22日 21:46
  • 14014

设计师成长的五个阶段

经常有设计师找我闲聊,在工作中有时候很迷茫,觉得遇到了瓶颈,涨薪很慢,项目很无趣,看不到成长的希望。不知道下一步该怎么办。我觉得各自情况不一样,设计师成长这个话题太大。我一直成长于互联网公司,我就来谈...
  • dlfeicui
  • dlfeicui
  • 2017年12月30日 13:43
  • 32

产品测试管理的四个阶段

产品测试管理的四个阶段   近几年,作者在国内开展了多场产品测试管理公开课和内训,发现很多的公司虽然有测试团队和测试流程,但对于产品测试过程中的阶段仍然很模糊,例如开发测试和生产测试有什么区别,功能...
  • jichuang123
  • jichuang123
  • 2015年08月03日 13:53
  • 496

2. 程序编译的四个阶段

0.引言hello.c(源程序)是一条高级C语言程序,虽然它是以一种易读的形式,让人们容易理解。但是,它却无法直接驱动硬件CPU直接执行。为了我们编写的hello.c程序可以被执行,驱动硬件电路工作,...
  • DylanDong
  • DylanDong
  • 2017年03月05日 11:19
  • 1285

当代移动通信发展四个阶段

当代移动通信发展四个阶段:   第一代移动通信技术(1G)是指最初的模拟、仅限语音的蜂窝电话标准,制定于上世纪80年代。其容量有限、制式太多、互不兼容、保密性差、通话质量不高、不能提供数据业务和不能提...
  • Dallin0408
  • Dallin0408
  • 2017年01月09日 16:49
  • 1054
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:ETL四个阶段
举报原因:
原因补充:

(最多只允许输入30个字)