ETL是重要的数据仓库技术,包括数据抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load)等过程。是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。
数据源:大多数情况下,可以认为是关系数据库,专业一点,就是事务处理系统(OLTP)。当然,广义一点,可能会是其它数据库或者是文件系统。
目的地:数据仓库,堆积用来分析的数据的仓库。它区别于OLTP中的数据存储。
ETL搭建了OLTP和OLAP系统之间的桥梁,瓶颈来自与服务器的性能:ETL主要利用转换服务器的处理能力,从源表抽取数据后,在转换服务器中进行数据清洗、转换、完成后加载到目标库中,转换过程都是在转换服务器中进行的。
数据的清洗转换过程时间最长,大概占全部时间的2/3。
ETL三种方法:
1、工具(Oracle:OWB、SQLServer:DTS、SQLServer2005:SSIS、Informatic…….)
2、SQL方法实现
3、ETL工具+SQL结合DW (DataWarehousing 数据仓库)