大数据ETL开发之图解Kettle工具（入门到精通）(1)

2301_81749759

于 2024-04-16 03:45:26 发布

阅读量92

点赞数 1

分类专栏：程序员文章标签：大数据 etl 数据仓库

本文链接：https://blog.csdn.net/2301_81749759/article/details/137803483

版权

3.2.3 SQL文件输出
3.2.4 表输出
3.2.5 更新&插入/更新
3.2.6 删除
3.3 Kettle转换控件
- 3.3.1 Concat fields
3.3.2 值映射
3.3.3 增加常量&增加序列
3.3.4 字段选择
3.3.5 计算器
3.3.6 字符串剪切&替换&操作
3.3.7 排序记录&去除重复记录
3.3.8 唯一行（哈希值）
3.3.9 拆分字段
3.3.10 列拆分为多行
3.3.11 行扁平化
3.3.12 列转行
3.3.13 行转列
3.4 Kettle应用控件
- 3.4.1 替换NULL值
3.4.2 写日志
3.5 Kettle流程控件
- 3.5.1 Switch/case
3 .5.2 过滤记录
3.5.3 空操作
3.5.3 中止
3.6 Kettle查询控件
- 3.6.1 数据库查询
3.6.2 流查询
3.7 Kettle连接控件
- 3.7.1 合并记录
3.7.2 记录集连接
3.8Kettle统计控件
- 3.8.1 分组
3.9 Kettle映射控件
3.9.1 映射
3.10 Kettle脚本控件
- 3.10.1执行SQL脚本
第4章 Kettle作业
- 4.1 作业简介
- 4.1.1作业项
4.1.2 作业跳
4.2 作业初体验
第5章 Kettle使用案例
- 5.1 转换案例
5.2 作业案例
第6章 Kettle资源库
- 6.1 数据库资源库
第7章 Kettle调优
第八章案例数据和ETL开发岗位资料下载

第0章 ETL简介

===========================================================================

ETL (Extract-Transform-Load 的缩写，即数据抽取、转换、装载的过程)，对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种ETL工具的使用，必不可少。

市面上常用的ETL工具有很多，比如Sqoop，DataX, Kettle, Talend 等，作为一个大数据工程师，我们最好要掌握其中的两到三种，这里我们要学习的ETL工具是Kettle!

第1章 Kettle简介

==============================================================================

1.1 Kettle是什么

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、 Unix.上运行，绿色无需安装，数据抽取高效稳定。

Kettle中文名称叫水壶，该项目的主程序员MATT希望把各种数据放到一个壶里，然后以一种指定的格式流出。

Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。

Kettle中有两种脚本文件，transformation 和 job，transformation 完成针对数据的基础转换，job则完成整个工作流的控制。

Kettle(现在已经更名为PDI, Pentaho Data Integration Pentaho数据集成)

1.2 Kettle的两种设计

简述：

Transformation (转换) ：完成针对数据的基础转换。
Job (作业) ：完成整个工作流的控制。

区别：

(1) 作业是步骤流，转换是数据流。这是作业和转换最大的区别。
(2)作业的每一个步骤，必须等到前面的步骤都跑完了，后面的步骤才会执行；而转换会一次性把所有控件全部先启动(一个控件对应启动一个线程)，然后数据流会从第一个控件开始，一条记录、一条记录地流向最后的控件;

在这里插入图片描述

1.3 Kettle的核心组件

Spoon.bat / spoon.sh（重点）：是一个图形化界面，可以让我们用图形化的方式开发转换和作业（Windows选择Spoon.bat；Linux选择Spoon.sh）
Pan.bat / pan.sh：利用Pan可以用命令行的形式执行由Spoon编辑的转换和作业
Kitchen.bat / kitchen.sh：利用Kitchen可以使用命令调用由Spoon编辑好的Job
Carte.bat / Carte.sh：Carte是一个轻量级的Web容器，用于建立专用、远程的ETL Server

在这里插入图片描述

1.4 Kettle的特点

在这里插入图片描述

第2章 Kettle安装部署

================================================================================

2.1 Kettle 下载

2.1.1 下载地址

官网：官网地址

下载地址：各版本下载链接

百度网盘：百度网盘地址，提取码：beeo

2.1.2 Kettle目录说明

在这里插入图片描述

2.1.2 Kettle 文件说明

在这里插入图片描述

2.2 Kettle 安装部署

2.2.1 概述

在实际企业开发中，都是在本地Windows环境下进行 kettle 的 job 和 Transformation 开发的，可以在本地运行，也可以连接远程机器运行

2.2.2 安装

1）安装 jdk，版本建议1.8及以上

2）下载kettle压缩包，因kettle为绿色软件，解压缩到任意本地路径即可

3）双击Spoon.bat,启动图形化界面工具，就可以直接使用了

2.3 Kettle 界面介绍

2.3.1 主界面

在这里插入图片描述

2.3.2 转换

在这里插入图片描述

2.3.3 作业

在这里插入图片描述

2.4 Kettle转换初次体验

体验案例：将 csv 文件用 Kettle 转换成 excel 文件

在这里插入图片描述

1）在 Kettle 中新建一个转换，然后选择转换下面的 “csv文件输入” 和 “excel文件输出” 拖至工作区

在这里插入图片描述

2）双击CSV文件输入文件控件，在弹出的设置框里找到对应的csv文件(test.csv).然后点击下面的获取字段按钮，将我需要的字段加载到kettle中

在这里插入图片描述

3）按住键盘 shift 键，并且点击鼠标左键将两个控件链接起来,链接时选择 “主输出步骤”

在这里插入图片描述

4）双击Excel输出控件，在弹出的设置框里设置文件输出路径和文件名称，然后点击上的字段框，依次点击下面的获取字段和最小宽度，获取到输出字段

在这里插入图片描述

5）点击运行，启动，查看转换好的文件

在这里插入图片描述

转换成功：

在这里插入图片描述

2.5 Kettle 核心概念

2.5.1 可视化编程

Kettle可以被归类为可视化编程语言，因为Kettle可以使用图形化的方式定义复杂的ETL程序和工作流。

可视化编程一直是Kettle里的核心概念，它可以让你快速构建复杂的ETL作业和减低维护工作量。它通过隐藏很多技术细节，使IT领域更贴近于商务领域。

Kettle里的代码就是转换和作业。

2.5.2 转换

转换(transaformation)负责数据的输入、转换、校验和输出等工作。Kettle 中使用转换完成数据 ETL 全部工作。转换由多个步骤(Step)组成，如文本文件输入，过滤输出行，执行SQL脚本等。各个步骤使用跳(Hop)（连接箭头） 来链接。跳定义了一个数据流通道，即数据由一个步骤流（跳）向下一个步骤。在 Kettle中数据的最小单位是数据行(row),数据流中流动其实是缓存的行集(RowSet)

在这里插入图片描述