Kettle的安装和基本概念了解

最新推荐文章于 2024-05-10 14:42:08 发布

GTW_Zeus

最新推荐文章于 2024-05-10 14:42:08 发布

阅读量1.7k

点赞数

分类专栏：【Zeus】数据库类文章标签： macos java 开发语言

本文链接：https://blog.csdn.net/GTWZeus/article/details/123238857

版权

【Zeus】数据库类专栏收录该内容

19 篇文章 13 订阅

订阅专栏

1、什么是ETL?

ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少

具体详情不懂的ETL可以看我往期博客，点击这里

2、什么是Kettle？

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。

Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。

Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。

Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制

Kettle(现在已经更名为PDI，Pentaho Data Integration-Pentaho数据集成)。

3、Kettle的下载。

Kettle官方网址：https://community.hitachivantara.com/s/article/data-integration-kettle，目前最新版本8.2版本的，不建议官网下载，贼慢，压缩包一个G左右的。

Kettle的国内镜像：7.1版本，http://mirror.bit.edu.cn/pentaho/Data Integration/，8.2版本，http://mirror.bit.edu.cn/pentaho/Pentaho 8.2/client-tools/

4、 Kettle安装

压缩包下载完毕，解压缩即可。Kettle的目录文件，如下所示：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zTt4MpE3-1646222557064)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/443f10157e5d4a0a98df0685388b9e48~tplv-k3u1fbpfcp-zoom-1.image “image”)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aJN2teAq-1646222557065)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/d2244812ebb74a75aa3766ae3fb49aff~tplv-k3u1fbpfcp-zoom-1.image “image”)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2x8JKDju-1646222557065)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/148c8355fb884a17b9be697c60bf1e43~tplv-k3u1fbpfcp-zoom-1.image “image”)]

5、 Kettle的部署

Kettle下载以后需要配置一下java环境变量，不懂的可以百度一下

由于Kettle是Java语言开发的，该软件的允许需要Java运行环境的依赖。需要先安装JDK,准备好Java软件的运行环境。安装jdk1.8版本即可，配置环境变量，这些自己百度一下就行了，不啰嗦了。在Window10环境下，双击Spoon.bat即可运行了。

6、Kettle界面简介

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NlIKpvYD-1646222557065)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/3167639ac84146978e320a2db9773dea~tplv-k3u1fbpfcp-zoom-1.image “image”)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sin8K7w3-1646222557066)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c11ac482b42d4c9899a578eba9c30633~tplv-k3u1fbpfcp-zoom-1.image “image”)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2TEEYiA4-1646222557066)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/4627b60c02894d1fb0c9385cde80f918~tplv-k3u1fbpfcp-zoom-1.image “image”)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ow1a4JdB-1646222557066)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/efdff80b5a5141eeb71ec1b2915242b4~tplv-k3u1fbpfcp-zoom-1.image “image”)]

7、Kettle的结构。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UgJVZpA2-1646222557066)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/2430b7af797b463ca825c3663544afb2~tplv-k3u1fbpfcp-zoom-1.image “image”)]

8、Kettle的结构-Spoon和Data Integration Server。

Spoon是构建ETL Jobs和Transformations的工具。Spoon以拖拽的方式图形化设计，能够通过spoon调用专用的数据集成引擎或者集群。

Data Integration Server是一个专用的ETL Server，它的主要功能有：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZuaY4ZAt-1646222557066)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0a869ff2479f4f68863c25fb2c5266bb~tplv-k3u1fbpfcp-zoom-1.image “image”)]

9、Kettle的结构-Enterprise Console。

Enterprise Console（企业控制台）提供了一个小型的客户端，用于管理Pentaho Data Integration企业版的部署。包括企业版本的证书管理、监控和控制远程Pentaho Data Integration服务器上的活动、分析已登记的作业和转换的动态绩效。

10、kettle的核心组件。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gVFTiMrN-1646222557067)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/63ec7d7a6598490e885c767433c76ce7~tplv-k3u1fbpfcp-zoom-1.image “image”)]

11、Kettle概念模型。

Kettle的执行分为两个层次： Job（作业）和Transformation（转换）。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Je9cvM2x-1646222557067)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/373c852c26ec4605a4eedb0c1ea13958~tplv-k3u1fbpfcp-zoom-1.image “image”)]

12、Kettle实现，把数据从CSV文件复制到Excel文件。

首先，创建一个转换，找到核心对象，找到输入里面的CVS文件输入图元，拖拽到工作区域，双击CVS文件输入。

可以修改步骤的名称，点击浏览，选择到CVS文件，其他参数可以默认，点击获取字段，最后点击确定。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JqeFhkVw-1646222557067)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/95ad82014b0949db95289d68cb3ee733~tplv-k3u1fbpfcp-zoom-1.image “image”)]

CVS文件输入配置完毕以后，可以配置Excel输出，如下所示：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5zEyEQbU-1646222557067)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/f394f7db88564cb4b59f68c57b1f16e5~tplv-k3u1fbpfcp-zoom-1.image “image”)]

此时，可以按住shift拖动鼠标，划线，将CVS文件输入和Excel输出连到一起。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Wy96Ulah-1646222557067)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/9b405672b75542c1be0d63d85139ee7b~tplv-k3u1fbpfcp-zoom-1.image “image”)]

最后，点击Excel输出，选择字段，点击获取字段，将输出到Excel的字段进行映射，最后点击确定即可。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-o21OpnrB-1646222557067)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/b959cb6302e1420cb4442572045e5969~tplv-k3u1fbpfcp-zoom-1.image “image”)]

点击ctrl + s保存，然后点击启动按钮即可。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7boPp3wL-1646222557068)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/2e7a9571983e44f59b9df4050b5840cb~tplv-k3u1fbpfcp-zoom-1.image “image”)]

13 、Kettle的执行结果。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XulJ220s-1646222557068)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/e26aeda68b4043a3956223c2709c8925~tplv-k3u1fbpfcp-zoom-1.image “image”)]

14、Kettle，可以被称为可视化编程。

1）、Kettle可以被归类为可视化编程语言(Visula Programming Languages,VPL)，因为Kettle可以使用图形化的方式定义复杂的ETL程序和工作流。

2）、Kettle里的图就是转换和作业。

3）、可视化编程一直是Kettle里的核心概念，它可以让你快速构建复杂的ETL作业和减低维护工作量。它通过隐藏很多技术细节，使IT领域更贴近于商务领域。

15、Kettle里面的转换。

1）、转换(transaformation)是ETL解决方案中最主要的部分，它处理抽取、转换、加载各种对数据行的操作。

2）、转换包含一个或多个步骤(step)，如读取文件、过滤数据行、数据清洗或将数据加载到数据库。

3）、转换里的步骤通过跳(hop)来连接，跳定义一个单向通道，允许数据从一个步骤向另一个步骤流动。

4）、在Kettle里，数据的单位是行，数据流就是数据行从一个步骤到另一个步骤的移动。

5）、数据流有的时候也被称之为记录流。

16、Kettle里面的，Step步骤（控件）是转换里的基本的组成部分。

一个步骤有如下几个关键特性：

1）、步骤需要有一个名字，这个名字在转换范围内唯一。

2）、每个步骤都会读、写数据行(唯一例外是"生成记录"步骤，该步骤只写数据)。

3）、步骤将数据写到与之相连的一个或多个输出跳，再传送到跳的另一端的步骤。

4）、大多数的步骤都可以有多个输出跳。一个步骤的数据发送可以被被设置为分发和复制，分发是目标步骤轮流接收记录，复制是所有的记录被同时发送到所有的目标步骤。

17、Kettle里面的，Hop跳（即图元之间的连线）。

1）、跳就是步骤之间带箭头的连线，跳定义了步骤之间的数据通路。
2）、跳实际上是两个步骤之间的被称之为行集的数据行缓存（行集的大小可以在转换的设置里定义）。
3）、当行集满了，向行集写数据的步骤将停止写入，直到行集里又有了空间。
4）、当行集空了，从行集读取数据的步骤停止读取，直到行集里又有可读的数据行。