数据清洗（黑马程序员）日常学习笔记——Kettle基础概念

最新推荐文章于 2023-04-28 00:18:37 发布

weixin_49005028

最新推荐文章于 2023-04-28 00:18:37 发布

阅读量929

点赞数 2

文章标签：数据库

本文链接：https://blog.csdn.net/weixin_49005028/article/details/120335085

版权

一、Kettle转换

定义:转换是ETL解决方案中重要的组成部分之一，主要用于数据的抽取、转换以及加载等操作,其本质是一组图形化的数据转换配置的逻辑结构。一个转换包括一个或多个步骤，如读取文件、过滤输出行、数据清洗或将数据加载到数据库中等步骤。转换中的步骤是通过“跳”连接的。跳定义了一个单向通道，允许数据从一个步骤向另一个步骤流动。在Kettle中，数据的单位是行，数据流就是数据行及一个步骤到另-个步骤的移动。
例：

图一

图一是一个简单的转换例子

创建转换的步骤：

1.双击Kettle目录下的Spoon.bat脚本，启动Kettle工具，在工具栏处选择文件→新建→转换命令，创建一个转换，名称默认是“转换1”，如下图所示：

图二

图三（成功创建转换）

转换的核心对象如图四所示：

图四

2、重命名转换，选择文件→保存命令，可以对转换进行重命名以及选择转换保存路径，如图所示：

图五

图六（重命名为example1）

3、右击空白处，选择“新建注释”命令，添加注释内容；然后单击“输入”，将“表输入”拖拽到Kettle的工作区单击“输出”，将“文本文件输出”拖拽到工作区，按住Ctrl键的同时选中“表输入”和“文本文件输出”并右击，选择“新建节点连接”，单击“确认”按钮，建立“表输入”向“文本文件输出”的连接，具体如下：

图七

图八

图八就是一个简单的转换的例子，实现了从数据库中读取数据并把数据写到文本文件中，该转换中包含了步骤、跳、注释以及数据行。

图九

转换的组成部分：

步骤是转换里的基本组成部分，也可被称为控件，以图标的方式实现。（Kettle转换中的步骤按功能分类课分为输入类、输出类、操作类以及脚本类等，每个步骤都完成一种特殊的功能。）

跳是步骤之间带箭头的连接线，即数据的通道，用于连接两个步骤，实现将元数据从一个步骤传递到另一个步骤，支持分发和复制等方式。（Kettle中，所有步骤都是以并发方式执行的）

注释是一个特殊的存在，不参与程序的处理，它以文本描述的方式呈现在作业中，只为增强流程的可读性，可放在流程图中的任意一个位置。

数据是以数据行的形式沿着步骤流动。一个数据行是从零到多个字段的集合。、

二、Kettle作业

一个作业包含一个或者多个作业项，并且这些作业项都是以某种顺序进行执行的。作业执行的顺序由作业项之间的跳（Job Hop）和每个作业项的执行结果决定。

图十

图十是一个简单的作业例子

作业的核心对象如下图所示：

图十一

创建作业的步骤：

1、双击Kettle目录下的Spoon.bat脚本，启动Kettle工具，在工具栏处选择文件→新建→作业命令，创建一个作业，名称默认是“作业1”，如下图所示：

图十二（成功创建作业）

2、重命名作业，选择文件→保存命令，可以对作业进行重命名以及选择作业保存路径，如图所示：

图十三

图十四（作业重命名为job1）

3、右击空白处，选择“新建注释”命令，添加注释内容；然后单击“通用”，将“start”和“作业”依次拖拽到Kettle的工作区；单击“邮件”，将“发送邮件”拖拽到工作区，按住Ctrl键的同时选中“start”和“作业”并右击，选择“新建节点连接”，单击“确认”按钮，建立“start”和“作业”之间的连接，再通过同样的操作将“作业”与“作业”、“作业”与“发送邮件”之间也建立连接，具体如下：