ETL工具-----kettle

一、Kettle简介：

       ETL是EXTRACT（抽取）、TRANSFORM（转换）、LOAD（加载）的简称，实现数据从多个异构数据源加载到数据库或其他目标地址，是数据仓库建设和维护中的重要一环也是工作量较大的一块。当前知道的ETL工具有informatica, datastage,kettle,ETL Automation,sqoop,SSIS等等

       Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。

二、安装kettle

1、kettle是基于java开发的，所以需要java环境（需安装jdk）

2、kettle使用时，需要访问相关的关系型数据库，则需要下载对应的链接驱动。比如我们访问MySQL，则下载相应的驱动解压后放入kettle文件的lib目录下

        

 3、下载kettle并解压到自定义位置。kettle其实是以前的叫法，现在官方称为：PDI(Pentaho Data Integeration)。在windows中，双击目录中的Spoon.bat启动kettle.

        

三、 简单使用

1、创建转换

       （1）文件----》新建-----》转换

       （2）新建转换后在左边的主对象树中建立DB连接用以连接数据库

　建立数据库连接的过程与其他数据库管理软件连接数据库类似。

　　注意：在数据库链接的过程中，可能会报某个数据库连接找不到的异常。那是因为你没有对应的数据库链接驱动，请下载对应驱动后，放入kettle的lib文件夹

2、简单的数据表插入（隐藏某些敏感词）

     （1）在左边的面板中选择“核心对象”，在核心对象里面选择“输入->表输入”,用鼠标拖动到右边面板

 

       双击拖过来的表，可以编辑表输入。

　　选择数据库连接和编辑sql语句，在这一步可以点击预览，查看自己是否连接正确。

        （2）核心对象里面的脚本，选择JavaScript脚本，将刚刚的表输入指向js脚本，双击编辑脚本

        （3）加入一个表输出， 双击编辑

      （4）到这里基本上，这个转换就要做完了，可以点击运行查看效果，看是否有误，这个要先保存了才能运行，可以随意保存到任何一个地方。此时就会生成.ktr 文件

      （5） 使用作业控制上面装换执行。

     使用作业可以定时或周期性的执行转换，新建一个作业。并从左边面板拖入start 和转换。

     双击start可以编辑，可以设置执行时间等等

    点开装换，可以设置需要执行的转换任务，比如可以执行上面我们做的转换，XXX.ktr

       最后点击运行即可。

　　到这里，一个简单的通过作业调度的kettle就算做完了。

 

 3、简单的表更新、插入（部分插入）

      （1）在左边的面板中选择“核心对象”，在核心对象里面选择“输入->表输入”,用鼠标拖动到右边面板

      （2）在核心对象里面选择“输入->表输入”

       （3）核心对象里面的脚本，选择JavaScript脚本，将刚刚的表输入指向js脚本，双击编辑脚本-------同上

       （4）在表输出中选择  插入/更新，双击编辑

         （5）启动即可

四、对作业调度的理解

1、不重复+不需要定时

      点击运行之后，任务会直接开始执行，执行完一次之后，即执行完毕          

2、不重复+时间间隔不为0 （2min）

点击运行之后，任务不会马上执行，而是等待2min(时间间隔)后在执行，且执行完一次后，任务执行完毕。

3、 不重复+时间间隔为0

 点击运行之后，任务会马上执行（因为时间间隔为0），执行完一次，任务执行完毕

 4、重复+时间间隔不为0（2min）

 点击运行之后，任务不会马上执行，等待2min（时间间隔）之后，任务第一次执行，再等2min，任务第二次执行，以此类推。。。