ETL-Kettle工作学习笔记_初识

ETL-Kettle工作学习笔记_初识

kettle简介（百度百科）

Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。
Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。
个人认知：Kettle 可实现跨数据库、数据仓库、接口等方式读取数据，利用内置的方法做数据去重、转换等操作，处理完的数据流可以任意形式定制化的存储。

kettle安装

简介：
一、kettle安装只需安装好java jdk环境。
二、解压kettle8的压缩包点击pdi-ce-8.1.0.0-365\data-integration\Spoon.bat 即可启动kettle图形化界面。
三、数据库的连接配置在pdi-ce-8.1.0.0-365\data-integration\lib目录下添加mysql/orcale数据库链接jar包。

kettle环境（java）：https://pan.baidu.com/s/1PwfALJjShLj7RsmKraKP_g 提取码：y9rr
kettle压缩包：https://pan.baidu.com/s/1j5iNPiXYwOMiY_maNulTBg 提取码：dt5z
kettle连接数据库包：https://pan.baidu.com/s/1NkBwsW2GmDe0CLBlZ7vLZA 提取码：cvci

kettle架构

Kettle是一个组件化的集成系统，包括如下几个主要部分：
1.Spoon：图形化界面工具(GUI方式)，Spoon允许你通过图形界面来设计Job和Transformation，可以保存为文件或者保存在数据库中。也可以直接在Spoon图形化界面中运行Job和Transformation
2.Pan：Transformation执行器(命令行方式)，Pan用于在终端执行Transformation，没有图形界面。
3.Kitchen：Job执行器(命令行方式)，Kitchen用于在终端执行Job，没有图形界面。
4.Carte：嵌入式Web服务，用于远程执行Job或Transformation，Kettle通过Carte建立集群。
5.Encr：Kettle用于字符串加密的命令行工具，如：对在Job或Transformation中定义的数据库连接参数进行加密。
6.ktr ：（数据源输入–数据源处理–数据源输出）基本上（一种/一类）数据的处理制定一个ktr。
7.job：（开始–ktr1–ktr2–文件检测–邮件发送–结束）将每个分散的ktr串联，实现某个（功能/任务）。
以上是kettle调用的5中方法，实际应用中以Spoon、Kitchen较常见：
Spoon（1、创建数据库链接 2、制作ktr、job）
Kitchen（1、制作批次处理文件bat 2、利用windows的任务计划程序功能实现定时批处理）