一、Kettle简介
- Kettle最早是一个开源的ETL(Extract-Transform-Load的缩写)工具,全称为KDE Extraction,
Transportation, Transformation and Loading
Environment。后来Kettle重命名为Pentaho Data Integration 。 - 它由Java开发,支持跨平台运行,其特性包括:支持100%无编码、拖拽方式开发ETL数据管道;可对接包括传统数据库、文件、大数据平台、接口、流数据等数据源;支持ETL数据管道加入机器学习算法。
- Kettle是一个实现ETL开发的一款开发工具,Spoon是Kettle工具提供的图形化界面。
1.1、主要功能
Pentaho Data Integration作为一个端对端的数据集成平台,可以对多种数据源进行抽取(Extraction)、加载(Loading)、数据落湖(Data Lake Injection)、对数据进行各种清洗(Cleasing)、转换(Transformation)、混合(Blending),并支持多维联机分析处理(OLAP)和数据挖掘(Data mining)。
1.2、运行环境
Pentaho Data Integration服务器端支持:Windows Server, CentOS, RHEL, Ubuntu
Pentaho Data Integration开发客户端(Spoon)支持:Windows, Ubuntu Desktop, MacOS
Pentaho User Console(浏览器端)支持:Internet Explorer, Chrome, Firefox,Safari, Edge
二、Kettle安装
2.1、安装JDK
kettle是运行在java环境下,需要先安装jdk,这个在晚上搜索下就好。
2.2、下载地址
Kettle是一款免安装软件,下载后即可直接运行。下载地址:Kettle官网http://www.kettle.org.cn/download
2.2、运行Kettle
- 因为Kettle是纯java编写,所以启动前要先预装JDK并配置环境变量。
- Windows下双击Spoon.bat文件运行Kettle,打开spoon图形工具。
- 在Linux、AppleOSX、Solaris平台上,双击Spoon.sh运行。
当出现下图所示,则说明启动成功。
2.3、导入数据库驱动jar包
看你需要连接什么数据库,就将数据库的驱动jar包放到xxx\pdi-ce-7.1.0.0-12\data-integration\lib目录下,重启spoon即可。
Oracle/Mysql驱动下载链接:
链接:https://pan.baidu.com/s/15PafokxwSyFQtdMQuLKHOg
提取码:q2m4
三、Kettle使用
3.1、配置资源库与数据库
- 现在让我们重新双击Spoon.bat,运行Kettle工具。
- 点击右上角的connect标志,出现弹窗(如下图),点击Other Repositories。
- 在新的弹窗中选择Database Repository选项,点击Get Started。
- 输入资源库名称(自定义),点击Database Connection创建数据库连接。
- 点击创建新的数据库连接。
- 这里左侧有5种连接方式,按自己需求进行选择,默认选一般;数据库连接名称(自定义);数据类型,什么数据库就选什么,我这里是连接Oracle数据,所以选择Oracle;
- 连接方式,默认选第一个;最后再将你的数据库连接信息(IP,端口,库名称,用户名和密码)填写上就OK。
填好后,点击测试按钮,出现如下图的弹窗即连接成功,然后点击确定按钮。
- 可以看到刚刚连接的数据库sourceDB,这里我是创建两个数据源,通过点击新增按钮可以创建多个数据源连接。
- 选中数据源,即可对其进行编辑,删除操作。
- 最后点击Back返回。
点击Finish按钮,即可。
创建成功,选中Connect Now。
- 进入登录页面,默认是admin用户,密码也是admin,启动后可以修改用户密码或添加其他用户。
注意事项:这里在配置数据源时,虽然成功了,但是在后面创建作业选择数据库时,可能出现刚刚配置的数据库不见了,可以在创建作业后,再重新配置一下数据库(如下图)。具体原因还不清楚
3.2、修改、添加用户信息
点击工具–>资源库–>探索资源按钮,或者直接点击下图红色框中的图标。
选择安全按钮,即可新增、编辑、删除用户信息。
好啦,以上就是Kettle的安装配置教程