一、kettle基本知识
1.什么是kettle
kettle是开源的、可视化、功能强大的ETL工具,基于纯java开发。可以在Windows、Linux等上运行使用。是一款相对稳定且具有可视化的数据抽取工具。
2.kettle具有两个脚本:transformation(转换)和job(作业)。
transformation:完成对输入目标数据的基础转换;
job:封装装换过程,完成对整个工作流的控制。
3.kettle有三个主要的组件:Spoon、Kitchen、Pan
Spoon:一个图形化的工具,用于设计和维护的复杂的ETL工作流。Windows选择Spoon.bat;Linux选择Spoon.sh。
Kitchen:执行job作业。
Pan:执行transformation转换。
二、安装与使用
1.安装
本教程的kettle是免安装的,只需要解压kettle的压缩包即可(教程最后有压缩包,有需要的自行拉取)。但是由于kettle是基于java开发的,所以要安装jdk。解压完毕之后如下图:
2.启动图形化工具Spoon
点击文件夹data-integration后,如下图所示:
在Windows系统下点击Spoon.bat即可。
3.创建Transformation(转换)
点击左上角 文件 → 新建 → 转换,即可进入转换页面。如下所示:
①点击输入。我们将需要进行ETL的目标数据输入进来,输入格式需要与目标数据格式一致。
②点击转换。根据业务需求,对目标数据进行增、删、改、查等一系列操作。
③点击输出。对已经清洗过的数据进行输出,输出格式可根据业务需求,也可自行选择。
(转换的保存,是以.ktr为结尾的文件。)
4.创建Job(作业)
点击左上角 文件 → 新建 → 作业,即可进入转换页面。如下所示:
job(作业)一般是用来运行一个transformation(转换)。
①在左面核心对象中,选择通用中的“开始”,拖到右面作业框中。每一个作业都需要先配置一个“开
始”,表示开始作业运行。
②在左面核心对象中,选择通用中的“转换”,拖到右面作业框中。再将我们配置好的转换上传即可。
③在左面核心对象中,选择通用中的“成功”,拖到右面作业框中。即可完成作业流程。
(作业的保存,是以.kjb为结尾的文件。)
三、相关学习资料
1.Kettle压缩包
链接: https://pan.baidu.com/s/1htCc4X4f37delbFU-_qIJw 提取码: shgw 复制这段内容后打开百度网盘手机App,操作更方便哦
2.JDK(1.8版本)
链接: https://pan.baidu.com/s/1mnTQt8AuhuWF3j0tOkUdIQ 提取码: nnkt 复制这段内容后打开百度网盘手机App,操作更方便哦