Datastage,Informatica,Kettle介绍和对比

 

ETL简介

 

ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。通俗的说法就是从数据源抽取数据出来，进行清洗加工转换，然后加载到定义好的数据仓库模型中去。目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。ETL是BI项目重要的一个环节，其设计的好坏生成数据的质量直接关系到BI项目的成败。

 

 

为什么要用ETL工具

1．当数据来自不同的的物理主机，这时候使用SQL语句去处理的话，就显得比较吃力且开销也更大。

2．数据来源可以是各种不同的数据库或者文件，这时候需要先把他们整理成统一的格式后才可以进行数据的处理，这一过程用代码实现显然有些麻烦。

3．在数据库中我们当然可以使用存储过程去处理数据，但是处理海量数据的时候存储过程显然比较吃力，而且会占用较多数据库的资源，这可能会导致数据资源不足，进而影响数据库的性能。

上面所说的问题，我们用ETL工具就可以解决。优点有：

1. 支持多种异构数据源的连接（有一些是）。
2. 图形化的界面操作十分方便。
3. 处理海量数据的速度快，处理的流程也更清晰等等。

 

 

Kettle，Datastage,Informatica简单介绍：

IBM Datastage：IBM公司的商业软件，最专业的ETL工具，价格不菲，适合大规模的ETL 应用。使用难度：偏难。

Informatica PowerCenter：商业软件，相当专业的ETL工具。价格上比Datastage便宜一点。

适合大规模的ETL 应用。使用难度：一般。

Kettle（水壶）：免费，最著名的开源产品，是用纯Java编写的ETL工具，可跨平台，扩展性好。使用难度：一般。

Informatica和Datastage占据国内市场的大部分的份额。

 

以下是这个三个ETL工具的特点和差异的介绍

 

操作上:

都是属于比较简单易用，主要是开发人员对于工具的熟练程度。

Informatica有四个开发管理组件，开发的时候我们需要打开其中三个进行开发，Datastage全部的操作在同一个界面中，不用切换界面，能够看到数据的来源，整个job的情况，在找bug的时候会比Informatica方便。Kettle，介于两者之间。Informatica是没有ctrl+z的功能，就是对job做了改变之后，想要撤销，返回到改变前是不可能的。相比Kettle跟Datastage在测试调试的时候不太方便。

 

在部署上：

Kettle比较容易只需要JVM环境，Informatica需要服务器和客户端安装。Datastage的部署比较耗费时间，有一点难度。

 

数据处理的速度：

大数据量下Informatica 与Datastage的处理速度是比较快的，比较稳定。

Kettle的处理速度相比之下稍慢。

 

服务上:

Informatica与Datastage有很好的商业化的技术支持，而Kettle则没有。商业软件的售后服务上会比免费的开源软件好很多。

 

风险上：

风险与成本成反比，也与技术能力成正比。

 

扩展上：无疑是Kettle的扩展性最好，因为是开源代码，可以自己开发拓展它的功能，而Informatica和Datastage由于是商业软件，基本上没有。

 

Job的监控上

都有监控和日志工具，在数据的监控上，个人觉得Datastage的实时监控做的更加好，可以看到数据抽取的情况，运行到哪一个控件上，很直观。这对于调优来说，我们可以更快的定位到哪一个控件的处理速度太慢，进行处理，而informatica也有相应的功能，但是并不直观，需要通过两个界面的对比才可以定位到处理速度缓慢的控件。有时候还需要通过一些方法去查找。

 

在网上的技术文档

Datastage < Informatica < kettle,相对来说，Datastage跟Informatica在遇到问题去网上找到解决方法的概率比较低，kettle则比较多。

 

 

在项目中

很多时候我们都需要同步生产库的表，到我们的数据仓库中。一百多张表的同步，重复的操作，对开发人员来说是细心和耐心的考验。在这种情况下，开发人员

最喜欢的工具无疑是kettle，多个表的同步都可以用同一个程序运行，不必每一张表的同步都建一个程序，而informatica虽然有提供工具去批量设计，但还是需要生成多个程序进行一一配置，而datastage在这方面就显得比较笨拙。

在做增量表的时候，每次运行后都需要把将最新的一条数据操作时间存到数据库中，下次运行我们就取大于这个时间的数据。Kettle可以读取数据库中这个时间直接置为变量，对于没有可以直接置为变量的informatica我们的做法是先读取的数据库中的这个时间存到文件，然后主程序运行的时候指定这个文件为参数文件，也可以得到同样的效果。

 

 

总结

有一句话说的好：世上没有最好的，只有适合的！每一款ETL工具都有它的优缺点，我们需要根据实际项目，权衡利弊选择适合的ETL工具，合适的就是最好的。当下越来越多公司及其客户更重视最新的数据（实时数据）展现，传统的ETL工具可能满足不了这样的需求，而实时流数据处理和云计算技术更符合。所以我们也需要与时俱进，学习大数据时代下的ETL工具。