【大数据ETL工具，Kettle的学习和使用】

第1章 Kettle概述

1.1 ETL简介

ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种ETL工具的使用，必不可少。
市面上常用的ETL工具有很多，比如Sqoop，DataX，Kettle，Talend等，作为一个大数据工程师，我们最好要掌握其中的两到三种，这里我们要学习的ETL工具是Kettle！

1.2 Kettle简介

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。
Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。
Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。
Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。
Kettle(现在已经更名为PDI，Pentaho Data Integration-Pentaho数据集成)。

1.Kettle 输入控件

• CSV文件输入
• 文本文件输入
• Excel输入
• XML输入
• JSON输入
• 表输入

2.Kettle 输出控件

• Excel输出
• 文本文件输出
• SQL文件输出
• 表输出
• 更新&插入/更新
• 删除

3.Kettle 转换控件

3.1 kettle的转换控件，是ETL里面的T（Transform）,主要工作是进行数据转换，数据清洗。
3.2 ETL整个过程中，Transform的工作量最大，耗时也久，约整个ETL的2/3。
3.3 Kettle的常用转换控件有：

• 1 Concat fields
• 2.值映射
• 3.列拆分
• 4.列转行
• 5.剪切字符串
• 6.去除重复记录
• 7.唯一行（哈希值）
• 8.增加常量
• 9.增加序列
• 10.字段选择
• 11.字符串操作
• 12.字符串替换
• 13.拆分字段
• 14.排序记录
• 15.行扁平化
• 16.行转列
• 17.计算器

3.1 Concat Fileds(拼接字段)

转换控件Concat fields，顾名思义，就是将多个字段连接起来形成一个新的字段。
练习：将staff表的firstname和lastname拼接起来，形成name字段，然后再将数据插入到新表emp中

3.2 值映射（把字段一个值映射成其他值）

本章节任务：将staff表的sex字段，映射成男or女，然后再插入到emp表中

3.3 增加常量&增加序列（给数据流加一列相同值&加一列序列）

3.4 字段选择（从数据流选择字段、改变名称，类型）

3.5 计算器 （通过函数集合创建新的字段）

3.6 字符串剪切&替换&操作

剪切字符串是指定输入流字段裁剪的位置剪切出新的字段。
字符串替换是指定搜索内容和替换内容，如果输入流的字段匹配上搜索内容就进行替换生成新字段。
字符串操作是去除字符串两端的空格和大小写切换，并生成新的字段。

3.7 排序记录&去除重复记录

去除重复记录是去除数据流里面相同的数据行。但是此控件使用之前要求必须先对数据进行排序，对数据排序用的控件是排序记录，排序记录控件可以按照指定字段的升序或者降序对数据流进行排序。因此排序记录+去除重复记录控件常常配合组队使用。

3.8 唯一行（哈希值）

唯一行（哈希值）就是删除数据流重复的行。此控件的效果和（排序记录+去除重复记录）的效果是一样的，但是实现的原理不同。排序记录+去除重复记录对比的是每两行之间的数据，而唯一行（哈希值）是给每一行的数据建立哈希值，通过哈希值来比较数据是否重复，因此唯一行（哈希值）去重效率比较高，也更建议大家使用。

3.9 拆分字段

拆分字段是把字段按照分隔符拆分成两个或多个字段。需要注意的是，字段拆分以后，原字段就会从数据流中消失。

3.10 列拆分为多行

列拆分为多行就是把指定字段按指定分隔符进行拆分为多行，然后其他字段直接复制。

3.11 行扁平化

行扁平化就是把同一组的多行数据合并成为一行，可以理解为列拆分为多行的逆向操作。

3.12 列转行（顾名思义）

列转行，顾名思义多列转一行，就是如果数据一列有相同的值，按照指定的字段，将其中一列的字段内容变成不同的列，然后把多行数据转换为一行数据的过程。

3.13 行转列

行转列，一行转多列，就是把数据字段的字段名转换为一列，把数据行变为数据列。我们也可以简单理解为行转列控件是列转行控件的逆向操作。

4 Kettle应用控件

• 替换NULL值
• 写日志

5 Kettle流程控件

• Switch/case
• 过滤记录
• 空操作
• 中止

6 Kettle查询控件

• 数据库查询
• 流查询

7 Kettle连接控件

• 合并记录
• 记录集连接

8 Kettle统计控件

• 分组

9 Kettle映射控件

• 映射

10 Kettle脚本控件

• 执行SQL脚本