ETL,Extraction-Transformation-Loading的缩写,中文名称为数据提取、转换和加载。 ETL工具有:OWB(Oracle Warehouse Builder)、ODI(Oracle Data Integrator)、Informatic PowerCenter、AICloudETL、DataStage、Repository Explorer、Beeload、Kettle、DataSpider
ETL负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。
编辑ETL应用
数据集成平台必须支持数据集成生命周期中的所有五个关键步骤:访问、发现、 清洗、集成和交付
主流ETL产品:
Ascential公司的Datastage(Datastage在2005年被IBM收购)、
Informatica公司的Powercenter、
NCR Teradata公司的ETL Automation(一套ETL框架、主要关注“抽取”)。
ETL工具有:
OWB(Oracle Warehouse Builder)、
ODI(Oracle Data Integrator)、
Informatic PowerCenter(Informatica公司)、
AICloudETL、
DataStage(Ascential公司)、
Repository Explorer、Beeload、Kettle、DataSpider、ETL Automation(NCR Teradata公司)、
Data Integrator(Business Objects公司)、DecisionStream(Cognos公司)
一 ETL工具
【国外】
1. datastage
点评:最专业的ETL工具,价格不菲,使用难度一般
下载地址:ftp://ftp.seu.edu.cn/Pub/Develop ... taStage.v7.5.1A-iSO
BT种子下载:http://pan.baidu.com/share/link?shareid=172289&uk=67437475
---------------------------------------
2. informatica
点评:专业程度如Datastage旗鼓相当,价格似乎比Datastage便宜。
Informatica PowerCenter 8.6.1 for Win 32Bit
服务端下载:http://pan.baidu.com/share/link?shareid=183214&uk=67437475
客户端下载:http://pan.baidu.com/share/link?shareid=183217&uk=67437475
Informatica PowerCenter 8.6.0 for Win 32Bit
BT种子下载:http://pan.baidu.com/share/link?shareid=172290&uk=67437475
Informatica PowerCenter 8.1.1 for Win 32Bit
安装包下载:http://pan.baidu.com/share/link?shareid=183201&uk=67437475
---------------------------------------
3. kettle
点评:业界最有名的开源ETL工具。开源当然就免费,免费的有些东西使用就不是很方便。
下载地址:http://kettle.pentaho.com/
---------------------------------------
4. ODI
点评:oracle数据库厂商提供的工具,有局限性,与oracle数据库耦合太深。
下载地址: www.oracle.com/technetwork/cn/testcontent/index-091026-zhs.html
---------------------------------------
5.Cognos
下载地址:http://www.ibm.com/developerworks/cn/downloads/im/cognosbi/
Cognos BI 8.3
BT种子下载: http://pan.baidu.com/share/link?shareid=172287&uk=67437475
Cognos BI 8.4
BT种子下载:http://pan.baidu.com/share/link?shareid=172288&uk=67437475
------------------------------------------
国内:
6. beeload
点评: 最好的国产ETL工具,但产品化程度还有一定距离。
下载地址: www.livbee.com
二 专业调度工具
ETL是BI的基础,调度是ETL的灵魂,调度原本是ETL技术的一个分支, 调度越来似乎有走独立工具的趋势。虽然在ETL工具有调度功能。
国外:
1. Control-M
官网地址:www.bmc.com
国内:
2. taskctl
下载地址:http://www.taskctl.com/html/2012 ... 8b57714a50a15a.html
3. ETS
官网地址:http://www.etlschedule.com/
4. Moia
官网地址:http://www.adtec.com.cn/_d271218319.htm
5. ETL-Plus
SMO算法由Microsoft Research的John C. Platt在1998年提出,并成为最快的二次规划优化算法,特别针对线性SVM和数据稀疏时性能更优。关于SMO最好的资料就是他本人写的《Sequential Minimal Optimization A Fast Algorithm for Training Support Vector Machines》了