ETL工具--kettle篇

ETL是EXTRACT（抽取）、TRANSFORM（转换）、LOAD（加载）的简称，实现数据从多个异构数据源加载到数据库或其他目标地址，是数据仓库建设和维护中的重要一环也是工作量较大的一块。当前知道的ETL工具有informatica, datastage,kettle,ETL Automation,sqoop,SSIS等等。这里我们聊聊kettle的学习吧（如果你有一定的kettle使用，推荐看看Pentaho Kettle解决方案，这里用kettle实践kimball的数据仓库理论。）。

 

　　内容有：认识kettle、安装kettle、简单入门实例、进阶实例、Linux中kettle部署、kettle发邮件、常见错误

 

　　认识kettle

　　kettle是纯java开发，开源的etl工具。可以在Linux、windows、unix中运行。有图形界面，也有命令脚本还可以二次开发。（官方社区：http://forums.pentaho.com/；官网wiki：http://wiki.pentaho.com/display/COM/Community+Wiki+Home；源码地址：https://github.com/pentaho/pentaho-kettle）

 

　　安装kettle

　　1、kettle是基于java开发的，所以需要java环境（下载jdk：http://www.oracle.com/technetwork/java/javase/downloads/jdk9-downloads-3848520.html）

　　

　　2、kettle使用时，需要访问相关的关系型数据库，则需要下载对应的链接驱动。比如我们访问MySQL，则下载相应的驱动解压后放入kettle文件的lib目录下

　　

　　3、下载kettle并解压到自定义位置。kettle其实是以前的叫法，现在官方称为：PDI(Pentaho Data Integeration)。在windows中，双击目录中的Spoon.bat启动kettle.

　　

 

　　简单的kettle实例

 　　1、新建作业/转换（功能区：文件 --> 新建 --> 作业；新建-->转换）

　　　　一个作业（job，文件以kjb结尾）的主体是转换&#