数据提取、转换和加载 - ETL工具

原创 2016年06月01日 10:54:27

ETL,Extraction-Transformation-Loading的缩写,中文名称为数据提取、转换和加载。 ETL工具有:OWB(Oracle Warehouse Builder)、ODI(Oracle Data Integrator)、Informatic PowerCenter、AICloudETL、DataStage、Repository Explorer、BeeloadKettle、DataSpider


ETL负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库数据集市中,成为联机分析处理、数据挖掘的基础。


编辑ETL应用

目前,ETL工具的典型代表有:Informatica、Datastage、OWB、微软DTS、BeeloadKettle……
开源的工具有eclipse的etl插件。cloveretl.

数据集成平台必须支持数据集成生命周期中的所有五个关键步骤:访问、发现、 清洗、集成和交付

数据集成平台必须足够可靠、灵活和可扩展,以处理任何一类型的数据集成项目,其中包括:
测试数据管理和存档 ·
B2B Data Exchange ·

主流ETL产品:

Ascential公司的Datastage(Datastage在2005年被IBM收购)、

Informatica公司的Powercenter、

 NCR Teradata公司的ETL Automation(一套ETL框架、主要关注“抽取”)。


ETL工具有:

OWB(Oracle Warehouse Builder)、

ODI(Oracle Data Integrator)、

Informatic PowerCenter(Informatica公司)、

AICloudETL、
DataStage(Ascential公司)、

Repository Explorer、Beeload、Kettle、DataSpider、ETL Automation(NCR Teradata公司)、

Data Integrator(Business Objects公司)、DecisionStream(Cognos公司)

一 ETL工具

【国外】

1. datastage
点评:最专业的ETL工具,价格不菲,使用难度一般

下载地址:ftp://ftp.seu.edu.cn/Pub/Develop ... taStage.v7.5.1A-iSO

BT种子下载:http://pan.baidu.com/share/link?shareid=172289&uk=67437475

---------------------------------------

2. informatica
点评:专业程度如Datastage旗鼓相当,价格似乎比Datastage便宜。

Informatica PowerCenter 8.6.1 for Win 32Bit

服务端下载:http://pan.baidu.com/share/link?shareid=183214&uk=67437475
客户端下载:http://pan.baidu.com/share/link?shareid=183217&uk=67437475

Informatica PowerCenter 8.6.0 for Win 32Bit
BT种子下载:http://pan.baidu.com/share/link?shareid=172290&uk=67437475

Informatica PowerCenter 8.1.1 for Win 32Bit
安装包下载:http://pan.baidu.com/share/link?shareid=183201&uk=67437475
---------------------------------------

3. kettle
点评:业界最有名的开源ETL工具。开源当然就免费,免费的有些东西使用就不是很方便。

下载地址:http://kettle.pentaho.com/

---------------------------------------

4. ODI
点评:oracle数据库厂商提供的工具,有局限性,与oracle数据库耦合太深。

下载地址: www.oracle.com/technetwork/cn/testcontent/index-091026-zhs.html

---------------------------------------

5.Cognos

下载地址:http://www.ibm.com/developerworks/cn/downloads/im/cognosbi/

Cognos BI 8.3

BT种子下载: http://pan.baidu.com/share/link?shareid=172287&uk=67437475

Cognos BI 8.4 
BT种子下载:http://pan.baidu.com/share/link?shareid=172288&uk=67437475

------------------------------------------
国内:
6. beeload
点评: 最好的国产ETL工具,但产品化程度还有一定距离。

下载地址: www.livbee.com

二 专业调度工具
ETL是BI的基础,调度是ETL的灵魂,调度原本是ETL技术的一个分支, 调度越来似乎有走独立工具的趋势。虽然在ETL工具有调度功能。

国外:
1. Control-M


官网地址:www.bmc.com

国内:

2. taskctl
下载地址:http://www.taskctl.com/html/2012 ... 8b57714a50a15a.html

3. ETS
官网地址:http://www.etlschedule.com/

4. Moia
官网地址:http://www.adtec.com.cn/_d271218319.htm

5. ETL-Plus


支持向量机(五)SMO算法

SMO算法由Microsoft Research的John C. Platt在1998年提出,并成为最快的二次规划优化算法,特别针对线性SVM和数据稀疏时性能更优。关于SMO最好的资料就是他本人写的《Sequential Minimal Optimization A Fast Algorithm for Training Support Vector Machines》了


版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

图片验证码

#region"自定义"//验证码  private void CreateCheckCodeImage()  {   Session["checkCode"]=null; ...

开源作业调度工具实现开源的Datax、Sqoop、Kettle等ETL工具的作业批量自动化调度

1、阿里开源软件:DataX         DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP...

数据清洗工具kettle

kettle简介:          kettle是pentho的一个组件,用来做数据清洗的,现在已经支持很多数据库以及文件格式,也包括大数据hdfs等。有图形界面,也可以在linux下去调用,用起...

数据清洗工具OpenRefine

数据清洗工具OpenRefine作者:chszs,转载需注明。博客主页:http://blog.csdn.net/chszs数据经常被称为一座金矿,尤其是在当今数据驱动的经济环境下更是如此。怎样把数据...
  • chszs
  • chszs
  • 2014-02-27 13:39
  • 22713

ETL数据清洗工具总结

【国外】 1. datastage 点评:最专业的ETL工具,价格不菲,使用难度一般 下载地址:ftp://ftp.seu.edu.cn/Pub/Develop ... taStage.v7.5...

数据仓库ETL调度工具的开发(一)

数据仓库ETL调度工具的开发(一) 介绍: 如何实现一款简单的ETL调度工具,支持以下几个关键功能: 1、作业依赖关系的配置 一个作业可能依赖于多个作业,同时也可以被多个作业依赖,前面所依赖的作业都...

数据仓库项目当中数据建模浅淡

数据仓库项目中数据建模是数据需求到数据落地中间承上启下的一个环节,个人认为非常的重要,它是对需求对的一种提炼,一种总结!逻辑上抽像点来说数据模型是对业务数据按照主题进行组织,它是一个载体;物理上来说它...

数据仓库应用(二):数据抽取、转换、加载(ETL)

某电子商务网站主要销售电子类产品,产品又分为几个大类别,包括:电脑类、手机类、键盘类等,每个类别内又细分为几个小类别,各类别下又有诸多的商品,每一个商品都有一个唯一的商品编号。用户可以通过注册成为会员...

JQuery插件之(四)--轮播图nivo-slider使用教程

现在市面上基于jQuery的轮播图插件种类繁多,各具特色,这对于具有选择困难症的童鞋来说就痛苦了,不知道选哪个,那么,今天小编就来帮你选择一款,号称最好的jquery幻灯片插件,Nivo-Slider...

CloverETL使用教程

CloverETL介绍CloverETL是一个基于Java的开源的ETL框架,同时还包含了一个 ETL设计器——CloverETL Designer。核心的算法就是一个数据流网络。 CloverET...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)