kettle概述

kettle概述

什么是kettle

Kettle是一款开源的ETL工具。纯Java编写，可以在Window和Liinunx，Unix上运行，绿色无安装，数据抽取高效稳定

​ ETL ：数据抽取—》数据操作（过滤，脱敏）—》写入目标

Kettle核心知识

Kettle工程存储方式

​ 1.以XML形式进行存储

​ 2.以资源库的方式进行存储（数据库资源库和文件资源库）

Kettle的两种设计方式

简述：

​ Transformtion（转换）：完成针对数据的基础操作

​ Job（作业）：完成对整个工作流的操作【Transformtion】

​ 一个Job可以包含多个Transformtion并对他们进行统一的控制

​ 区别

​ 1.作业是步骤流，转换是数据流。这是作业和转换的最大区别

​ 2.作业的每个操作步骤，必须等到前面的步骤跑完，后面的步骤才会指向

​ 而转换会一次性将所以的控件全部启动（一个控件对应启动一个线程），然后数据流

​ 会从第一个控件开始，一条记录，一条记录的流向最后一个控件

​ [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VGcRCtVN-1615645091717)(D:\学习资料\XFKJ\实习\Kettle\笔记图片\1.png)]

组成：

​ 1.勺子（Spoon.bat/sponn.sh）是一个图形化界面，可以通过图形化的方式进行开发转换和作业，Window选择Spoon.bat；Linux选择Spoon.sh

​ 2.煎锅（Pan.bat/pan.sh）:使用Pan的命令行调用转换

​ 3.厨房（Kitchen.bat/Kitchen.sh）：利用Kitchen可以使用命令调用Job

​ 4.菜单（Carte.bat/Carte.sh）：Carte是一种轻量级Web容器，用于建立专用，远程的ELTService 主要用于分布式