![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ETL
文章平均质量分 65
yong5241200
这个作者很懒,什么都没留下…
展开
-
优化方案:ETL的过程原理和数据仓库建设
1.引言 数据仓库建设中的ETL(Extract, Transform, Load)是数据抽取、转换和装载到模型的过程,整个过程基本是通过控制用SQL语句编写的存储过程和函数的方式来实现对数据的直接操作,SQL语句的效率将直接影响到数据仓库后台的性能。 目前,国内的大中型企业基本都具有四年以上计算机信息系统应用经验,积累了大量可分析的业务数据,这些信息系统中的数据需要通过搭建数转载 2013-09-04 17:25:55 · 1053 阅读 · 0 评论 -
商业智能平台研究:ETL中的数据质量控制
数据质量一直是ETL工具的一个高级特性,为了解释清楚这个问题,让我们看看oracle的商业ETL工具Oracle Warehouse Builder 在数据质量上是如何管理的。 oracle在官方网站上有一篇专门介绍如何使用oracle warehouse builder的文章,地址为http://www.oracle.com/technology/pub/articles/rittman-转载 2013-09-04 19:30:47 · 1068 阅读 · 0 评论 -
ETL学习1
ETL,Extraction-Transformation-Loading的缩写,即数据抽取(Extract)、转换(Transform)、装载(Load)的过程,它是构建数据仓库的重要环节。 ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。ETL是BI项目重要的一个环节。通常情况下,在BI转载 2013-09-04 17:27:34 · 814 阅读 · 0 评论 -
ETL学习2
三、ETL日志、警告发送 1、ETL日志 ETL日志分为三类。一类是执行过程日志,这一部分日志是在ETL执行过程中每执行一步的记录,记录每次运行每一步骤的起始时间,影响了多少行数据,流水账形式。一类是错误日志,当某个模块出错的时候写错误日志,记录每次出错的时间、出错的模块以及出错的信息等。第三类日志是总体日志,只记录ETL开始时间、结束时间是否成功信息。如果使用ETL工具,ETL工具会转载 2013-09-04 17:27:19 · 625 阅读 · 0 评论 -
择善而从ETL还是数据联合?
企业经常需要把数据集成到很多操作系统中,可以通过以下两个技术实现: 提取、转换和加载过程(ETL):采用这种方法,企业首先要建立一个集中式数据仓库,然后为利益相关的数据构建一个全局模式。对于每一个操作系统,企业将采用某种形式的ETL过程把数据实例转换成全局模式,然后再把他们加载到集中式数据仓库中。 数据联合(Federate):这是数据集成的另一种方法,企业也需要像ETL方法所述的那样转载 2013-09-04 19:32:22 · 506 阅读 · 0 评论 -
BI项目中ETL设计与思考
ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。ETL是BI项目重要的一个环节。通常情况下,在BI项目中ETL会花掉整个项目的1/3的时间,ETL设计的好坏直接关接到BI项目的成败。 ETL的设计分三部分:数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候我们也是从这三部分出发。数据的翻译 2013-09-04 19:35:06 · 1297 阅读 · 0 评论 -
四种数据ETL模式
根据模型的设计和源数据的情况,有四种数据ETL模式:完全刷新、镜像增量、事件增量、镜像比较。 完全刷新:数据仓库数据表中只包括最新的数据,每次加载均删除原有数据,然后完全加载最新的源数据。这种模式下,数据抽取程序抽取源数据中的所有记录,在加载前,将目标数据表清空,然后加载所有记录。为提高删除数据的速度,一般是采用truncate清空数据表。如本系统中的入库当前信息表采用此种模式。转载 2013-09-04 19:35:28 · 1715 阅读 · 0 评论