目录
1.Kettle相关概念
一个数据抽取过程主要包括创建一个作业,并且每个作业可以包括多个转换操作,此数据抽取过程可以通过kettle工具完成。Kettle工具的执行分为两个层次及转换和作业,这两个层次最主要的区别在于数据传递和执行方式。
转换是ETL解决方案中重要的组成部分之一,主要用于数据的抽取、转换以及加载等操作,其本质是一组图形化的数据转换配置的逻辑结构。一个转换包括一个或多个步骤,如读取文件、过滤输出行、数据清洗或将数据加载到数据库中等步骤。转换中的步骤是通过跳连接的,跳定义了一个单向通道,允许数据从一个步骤向另一个步骤流动,在Kettle中,数据的单位是行,数据流就是数据行从一个步骤到另一个步骤地移动;
相对而言,作业更加关心更为宏观的数据处理,比如文件和目录操作等等。一个作业包含一个或者多个作业项,并且这些作业项都是以某种顺序进行执行的。作业执行的顺序由作业项之间的跳和每个作业项的执行结果决定。对于一个作业项来说,只有当该作业项之前的所有作业项执行完毕后,才会执行该作业项。
2.转换实操
打开Kettle(Spoon.bat),依次点击 “文件”-->“新建”-->“转换” 可以得到一个如下界面:
<