ejinxian的专栏

人生无常【关键每一步】

数据提取、转换和加载 - ETL工具

ETL,Extraction-Transformation-Loading的缩写,中文名称为数据提取、转换和加载。 ETL工具有:OWB(Oracle Warehouse Builder)、ODI(Oracle Data Integrator)、Informatic PowerCenter、AICloudETL、DataStage、Repository Explorer、BeeloadKettle、DataSpider


ETL负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库数据集市中,成为联机分析处理、数据挖掘的基础。


编辑ETL应用

目前,ETL工具的典型代表有:Informatica、Datastage、OWB、微软DTS、BeeloadKettle……
开源的工具有eclipse的etl插件。cloveretl.

数据集成平台必须支持数据集成生命周期中的所有五个关键步骤:访问、发现、 清洗、集成和交付

数据集成平台必须足够可靠、灵活和可扩展,以处理任何一类型的数据集成项目,其中包括:
测试数据管理和存档 ·
B2B Data Exchange ·

主流ETL产品:

Ascential公司的Datastage(Datastage在2005年被IBM收购)、

Informatica公司的Powercenter、

 NCR Teradata公司的ETL Automation(一套ETL框架、主要关注“抽取”)。


ETL工具有:

OWB(Oracle Warehouse Builder)、

ODI(Oracle Data Integrator)、

Informatic PowerCenter(Informatica公司)、

AICloudETL、
DataStage(Ascential公司)、

Repository Explorer、Beeload、Kettle、DataSpider、ETL Automation(NCR Teradata公司)、

Data Integrator(Business Objects公司)、DecisionStream(Cognos公司)

一 ETL工具

【国外】

1. datastage
点评:最专业的ETL工具,价格不菲,使用难度一般

下载地址:ftp://ftp.seu.edu.cn/Pub/Develop ... taStage.v7.5.1A-iSO

BT种子下载:http://pan.baidu.com/share/link?shareid=172289&uk=67437475

---------------------------------------

2. informatica
点评:专业程度如Datastage旗鼓相当,价格似乎比Datastage便宜。

Informatica PowerCenter 8.6.1 for Win 32Bit

服务端下载:http://pan.baidu.com/share/link?shareid=183214&uk=67437475
客户端下载:http://pan.baidu.com/share/link?shareid=183217&uk=67437475

Informatica PowerCenter 8.6.0 for Win 32Bit
BT种子下载:http://pan.baidu.com/share/link?shareid=172290&uk=67437475

Informatica PowerCenter 8.1.1 for Win 32Bit
安装包下载:http://pan.baidu.com/share/link?shareid=183201&uk=67437475
---------------------------------------

3. kettle
点评:业界最有名的开源ETL工具。开源当然就免费,免费的有些东西使用就不是很方便。

下载地址:http://kettle.pentaho.com/

---------------------------------------

4. ODI
点评:oracle数据库厂商提供的工具,有局限性,与oracle数据库耦合太深。

下载地址: www.oracle.com/technetwork/cn/testcontent/index-091026-zhs.html

---------------------------------------

5.Cognos

下载地址:http://www.ibm.com/developerworks/cn/downloads/im/cognosbi/

Cognos BI 8.3

BT种子下载: http://pan.baidu.com/share/link?shareid=172287&uk=67437475

Cognos BI 8.4 
BT种子下载:http://pan.baidu.com/share/link?shareid=172288&uk=67437475

------------------------------------------
国内:
6. beeload
点评: 最好的国产ETL工具,但产品化程度还有一定距离。

下载地址: www.livbee.com

二 专业调度工具
ETL是BI的基础,调度是ETL的灵魂,调度原本是ETL技术的一个分支, 调度越来似乎有走独立工具的趋势。虽然在ETL工具有调度功能。

国外:
1. Control-M


官网地址:www.bmc.com

国内:

2. taskctl
下载地址:http://www.taskctl.com/html/2012 ... 8b57714a50a15a.html

3. ETS
官网地址:http://www.etlschedule.com/

4. Moia
官网地址:http://www.adtec.com.cn/_d271218319.htm

5. ETL-Plus


SMO算法由Microsoft Research的John C. Platt在1998年提出,并成为最快的二次规划优化算法,特别针对线性SVM和数据稀疏时性能更优。关于SMO最好的资料就是他本人写的《Sequential Minimal Optimization A Fast Algorithm for Training Support Vector Machines》了


阅读更多
上一篇日常软件使用系列收集
下一篇asp.net mvc Autofac 依赖注入框架 使用
想对作者说点什么? 我来说一句

kettle抽取工具

2018年01月04日 589KB 下载

高效数据抽取工具 Kettle使用基础

2013年07月24日 1.07MB 下载

数据抽取工具V3.0

2008年11月11日 1.77MB 下载

没有更多推荐了,返回首页

关闭
关闭