ETL介绍与ETL工具比较

ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过萃取（extract）、转置（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。

ETL负责将分布的、异构数据源中的数据如关系数据、

平面数据文件等抽取到临时中间层后进行清洗、转换、集成， 最后加载到数据仓库或数据集市中，成为联机分析处理、 数据挖掘的基础。

ETL是数据仓库中的非常重要的一环。 它是承前启后的必要的一步。相对于关系数据库， 数据仓库技术没有严格的数学理论基础，它更面向实际工程应用。 所以从工程应用的角度来考虑， 按着物理数据模型的要求加载数据并对数据进行一些系列处理， 处理过程与经验直接相关， 同时这部分的工作直接关系数据仓库中数据的质量， 从而影响到联机分析处理和数据挖掘的结果的质量。

数据仓库是一个独立的数据环境， 需要通过抽取过程将数据从联机事务处理环境、 外部数据源和脱机的数据存储介质导入到数据仓库中；在技术上， ETL主要涉及到关联、转换、增量、调度和监控等几个方面； 数据仓库系统中数据不要求与联机事务处理系统中数据实时同步， 所以ETL可以定时进行。但多个ETL的操作时间、 顺序和成败对数据仓库中信息的有效性至关重要。

ETL中的关键技术

ETL过程中的主要环节就是数据抽取、数据转换和加工、数据装载。为了实现这些功能，各个ETL工具一般会进行一些功能上的扩充，例如工作流、调度引擎、规则引擎、脚本支持、统计信息等。

数据抽取

数据抽取是从数据源中抽取数据的过程。实际应用中，数据源较多采用的是关系数据库。从数据库中抽取数据一般有以下几种方式。

(1)全量抽取

全量抽取类似于数据迁移或数据复制，它将数据源中的表或视图的数据原封不动的从数据库中抽取出来，并转换成自己的ETL工具可以识别的格式。全量抽取比较简单。

(2)增量抽取

增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。在ETL使用过程中。增量抽取较全量抽取应用更广。如何捕获变化的数据是增量抽取的关键。对捕获方法一般有两点要求：准确性，能够将业务系统中的变化数据按一定的频率准确地捕获到；性能，不能对业务系统造成太大的压力，影响现有业务。目前增量数据抽取中常用的捕获变化数据的方法有：

a.触发器：在要抽取的表上建立需要的触发器，一般要建立插入、修改、删除三个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的数据写入一个临时表，抽取线程从临时表中抽取数据，临时表中抽取过的数据被标记或删除。触发器方式的优点是数据抽取的性能较高，缺点是要求业务表建立触发器，对业务系统有一定的影响。

b.时间戳：它是一种基于快照比较的变化数据捕获方式，在源表上增加一个时间戳字段，系统中更新修改表数据的时候，同时修改时间戳字段的值。当进行数据抽取时，通过比较系统时间与时间戳字段的值来决定抽取哪些数据。有的数据库的时间戳支持自动更新，即表的其它字段的数据发生改变时，自动更新时间戳字段的值。有的数据库不支持时间戳