Kettle工具学习-01

在学习了DAMA数据管理相关知识后，开始实战ETL过程，我使用Kettle（现改名PDI）工具，图形化完成复杂的数据提取、转化、加载过程。阿里DataX也可以尝试。

DataX-web学习网址数据同步工具—DataX—Web部署使用_datax-web-CSDN博客

 DataX-web逻辑以及使用框架

关于Kettle工具的学习网站上有很多相关资源，我参考了以下链接进行学习的：大数据ETL开发之图解Kettle工具（入门到精通）-CSDN博客

简介、安装、界面等介绍这里跳过，从核心概念开始

一、核心概念

二、两种设计

 Kettle工具分为两种设计——转换、作业

区别在于转换是并行调度——所有工作同时开始同时进行，作业是串行调度——每一工作按顺序执行。

转换包括步骤（控件）、跳；作业包括作业项、作业跳 

步骤：输入控件、输出控件、转换控件、其他控件

作业项：开始作业项、作业项（除开始外的作业项）

作业跳：无条件的、结果为真的、结果为假的

区别：

其他控件和作业项我感觉在应用上面没有太大区别，就是所包含操作简单或复杂；

跳与作业跳主要是在传输内容上不同，跳传输数据行，是数据流，数据行可在此缓存，作业跳传输结果对象，是步骤流，前一作业完成后即发出一个结果对象

 三、元数据

这是DAMA里面的一个概念，定义理解为一类描述所需数据的数据

 在这里即可理解为表的字段名，每一字段的属性等

---

后续会结合实操详细介绍转换控件、其他控件以及一些复杂组合问题。