ETL工具之Kettle

一、ETL简介

ETL（Extract-Transform-Load 的缩写，即数据抽取、转换、装载的过程），对于企业或
行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种 ETL 工
具的使用，必不可少。
市面上常用的 ETL 工具有很多，比如 Sqoop， DataX， Kettle， Talend 等，作为一个大数
据工程师，我们最好要掌握其中的两到三种。

二、Kettle 

Kettle 是一款国外开源的 ETL 工具， 纯 java 编写，可以在 Window、 Linux、 Unix 上运
行， 绿色无需安装， 数据抽取高效稳定。
Kettle 中文名称叫水壶，该项目的主程序员 MATT 希望把各种数据放到一个壶里，然
后以一种指定的格式流出。
Kettle 这个 ETL 工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的
用户环境来描述你想做什么， 而不是你想怎么做。
Kettle 中有两种脚本文件， transformation 和 job， transformation 完成针对数据的基础
转换， job 则完成整个工作流的控制。
Kettle(现在已经更名为 PDI， Pentaho Data Integration-Pentaho 数据集成)。
 

1、kettle核心组件

• 勺子(Spoon.bat/spoon.sh) :是一个图形化的界面，可以让我们用图形化的方式开发转换和作业。windows选择Spoon.bat；Linux选择Spoon.sh
• 煎锅（Pan.bat/pan.sh）:利用Pan可以用命令行的形式执行由Spoon编辑的转换和作业
• 厨房（Kitchen.bat/kitchen.sh）:利用Kitchen可以使用命令行调用由Spoon编辑好的Job
• 菜单(Carte.bat/ Carte.sh)：Carte是一个轻量级的Web容器，用于建立专用、远程的ETL Server

 

2、kettle目录说明

3、kettle文件说明