Kettle 是一款采用纯 Java 实现的开源 ETL工 具,属于开源商务智能软件 Pentaho 的一个重要组成部分。项目在 SourceForge 上的地址为:https://sourceforge.net/projects/pentaho/?source=directory。鉴于 SourceForge 在国内不能下载,需要下载请移步到镜像网站。软件本身是免安装的,解压即可用,当然操作系统要安装和配置好 Java 环境。
Kettle PDI (Penhato Data Integration) 支持用拖拉的方式,实现复杂的 ETL 逻辑。本系列计划介绍
Kettle PDI 的主要功能,力求简明易懂。使用的 Kettle PDI 版本是 PDI 7.1,在 Windows 10 下运行。
Penhato Spoon
Penhato PDI 包含不少的工具箱,首先需要了解的是 Spoon,Spoon 是 Kettle 的图形化界面,在 Penhato
的安装目录下可以看到有一个叫 Spoon.bat 的文件(Linux 下是 Spoon.sh),双击这个就可以启动我们的kettle程序。
Kettle 主要的工具有两个:转换 (Transformation): 负责数据的输入、转换、校验和输出等工作。Kettle 中使用转换(transformation)完成数据 ETL 全部工作。转换由多个步骤 (step) 组成,如文本文件输入,过滤输出行,执行 SQL 脚本等。各个步骤使用跳 (hop) 来链接。 跳定义了一个数据流通道,即数据由一个步骤流 (跳) 向下一个步骤。在 Kettle 中数据的最小单位是行(row),数据流中流动其实是缓存的行集 (RowSet) 。
作业 (Job)