[Kettle] Kettle界面介绍

启动Kettle后,弹出Kettle的欢迎界面

Kettle界面构成 

有关界面的构成和说明如下所示

①标题栏:位于界面上方的第1栏,显示界面标题名称

②菜单栏:位于界面上方的第2栏,分别有【文件】|【编辑】|【视图】|【执行】|【工具】|【帮助】六个菜单项

③快捷菜单图标栏:位于界面上方的第3栏,显示图形化的常用的和重要的菜单项,方便读者使用

快捷菜单图标栏(图标说明)

④组件区域:分别是【主对象树】选项卡和【核心对象】选项卡。【主对象树】选项卡显示的是已经创建好的转换工程或任务工程包含的对象和组件;【核心对象】选项卡显示的是所有对象和组件,这些对象和组件可以应用于转换工程或任务工程中

⑤工作区域:在工作区域中可以创建转换工程或任务工程,创建工程的组件和组件之间的连接

菜单说明

①【文件(F)】菜单

单击【文件(F)】菜单,弹出【文件(F)】快捷菜单,如下图所示

有关【文件(F)】快捷菜单选项的说明如下表所示 

菜单项名称

作用说明

新建

1. 依次单击【新建】→【转换】菜单项,或使用Ctrl+N快捷键,创建一个转换工程
2. 依次单击【新建】→【作业(J)】菜单项,或使用Ctrl+Alt+N快捷键,创建一个任务工程
3. 在转换工程或任务过程中,依次单击【新建】→【数据库连接】菜单项,创建一个数据库连接

打开

单击此菜单项,或使用Ctrl+O快捷键,弹出【打开】对话框,浏览并打开转换工程、任务工程和xml等文件

从URL打开文件

单击此菜单项,弹出对话框,浏览并打开转换工程、任务工程文件
打开最近的配置单击此菜单项,选择并打开最近使用的转换工程、任务工程文件

关闭

单击此菜单项,或使用Ctrl+W快捷键,关闭光标所在工作区域的、正在使用的一个转换工程、任务工程文件

保存

单击此菜单项,或使用Ctrl+S快捷键,保存光标所在工作区域的、正在使用的一个转换工程、任务工程文件

另存为…

单击此菜单项,把光标所在工作区的、正在使用的一个转换工程、任务工程文件,另存为其他名称的文件夹或文件
从XML文件导入

单击此菜单项,弹出【打开】对话框,浏览并打开转换工程、任务工程和XML等文件

导出

单击此菜单项,导出光标所在工作区的文件到XML文件

退出

单击此菜单项,关闭所有打开的文件,关闭之前,提示是否保存未保存的文件,并退出Kettle软件

②【编辑】菜单

单击【编辑】菜单,弹出【编辑】快捷菜单,如下图所示

有关【编辑】快捷菜单选项的说明如下表所示

菜单项名称

作用说明

剪切

单击此菜单项,剪贴工作区中的被选中的组件等对象
复制所选的步骤到剪切板

单击此菜单项,剪贴工作区中的被选中的组件等对象到剪贴板

从剪贴板复制步骤单击此菜单项,把剪贴板中的组件复制到工作区域中
复制转换图片到剪贴板单击此菜单项,把工作区域中的有关组件和连接作为图片复制到剪贴板中
清除选择单击此菜单项,清除已选择有关组件
选择所有的步骤单击此菜单项,选择工作区域中所有的组件
搜索元数据单击此菜单项,搜索工程中的元数据
设置环境变量单击此菜单项,创建或设置当前工程的环境变量的值
显示环境变量单击此菜单项,显示当前工程中的环境变量和值
编辑kettle.properties文件单击此菜单项,编辑kettle.properties有关属性文件中的值
显示参数(u)单击此菜单项,显示当前工程中的参数及值

设置…

单击此菜单项,设置当前工程中的有关属性

③ 【视图】菜单

单击【视图】菜单,弹出【视图】快捷菜单,如下图所示

有关【视图】快捷菜单选项的说明如下表所示

菜单项名称

作用说明

视图类型

选中此菜单项,显示视图类型为Data Integration
放大(I)单击此菜单项,放大工作区域的组件图形
缩小(O)单击此菜单项,缩小工作区域的组件图形
等比例(P)单击此菜单项,等比例恢复工作区域的组件图形的大小

执行结果面板

单击此菜单项,显示/隐藏工作区域中的执行结果面板

⑤【工具】菜单

单击【工具】菜单,弹出【工具】快捷菜单,如下图所示

有关【工具】快捷菜单选项的说明如下表所示

菜单项名称作用说明
数据库单击此菜单项,浏览当前工程的数据库连接,或清除缓存
资源库

单击此菜单项,探索、导入、导出当前的工程的资源库,或清除共享对象缓存

向导(W)

单击此菜单项,在当前工程中,创建数据库连接向导,或复制单表向导,或复制多表向导
选项(O)单击此菜单项,设置Kettle选项和外观
Capability Manager...单击此菜单项,设置Kettle的性能

Show plugin information…

单击此菜单项,显示和设置Kettle的有关插件

⑥ 【帮助】菜单

单击【帮助】菜单,弹出【帮助】快捷菜单,如下图所示

有关【帮助】快捷菜单选项的说明如下表所示 

菜单项名称作用说明
显示欢迎屏幕(S)单击此菜单项,显示Kettle欢迎屏幕
Documentation单击此菜单项,显示、浏览、查找Kettle的帮助文档

关于

单击此菜单项,显示Kettle的版本号

新建转换与任务

转换和任务,是Kettle中最基础也是最核心的操作 

Kettle采用图形界面建立转换工程,使用组件将分布的、异构数据源中的数据抽取至临时中间层后进行清洗、转换、集成等操作,最后将处理后的数据装载至目标数据文件或者数据库中。因为转换不能自动运行,需要人工手动操作才能运行,所以这里我们需要建立任务工程,使用任务组件设置时间调度,进而调用转换工程,具体执行转换工程中的数据转换工作

1.转换

在Kettle欢迎界面中,点击【文件】|【新建】|【转换】选项或者使用Ctrl + N快捷键创建"转换1"转换工程

在"转换1"转换工程中,与欢迎界面不同,左侧的组件区域以树形结构的形式,列出了【核心对象】选项卡中所有的类别对象

例如,单击【输入】对象,系统会列出【输入】对象下的所有组件,选择【CSV文件输入】组件,拖曳至右边的工作区域中,完成【CSV文件输入】组件的创建

完成该组件的创建后,双击【CSV文件输入】即可设置该组件的相关参数,例如导入"语文成绩"文件

数据源

语文成绩(kettle数据集1).csvicon-default.png?t=N7T8https://download.csdn.net/download/Hudas/87356192语文成绩(部分截图)

设置【CSV文件输入】组件相关参数,单击【确定】按钮

设置好组件的参数后,单击工作区域上方的"预览"操作,弹出【转换调试窗口】对话框

单击【快速启动】按钮,即可显示出结果数据以及在执行结果面板上查看转换的执行结果信息

"预览数据"对话框将显示结果数据

"执行结果"面板将列出有关执行结果信息

运行转换工程和查看执行结果

新建转换工程后,设置有关组件参数,使用预览操作,即可在执行结果面板上,查看转换的有关结果和数据

执行结果的面板有【日志】【执行历史】【步骤度量】【性能图】【Metrics】【Preview data】6个选项卡,每个选项卡的具体说明如下

1. 日志,默认选项,显示转换中的日志信息,这些信息一般包括转换成功、失败、失败的错误提示信息等

2. 执行历史,显示【转换日志表】【步骤日志表】【日志通道日志表】【Metrics log table】等表的信息

3. 步骤度量,显示组件一些可以度量的数据信息,如复制的记录行数,读、写记录数等

4. 性能图,配置转换属性的参数,以便能够有效地重新执行转换

5. Metrics,显示有关转换的组件执行时间、读取数据文件时间等指标数据

6. Preview data,预览转换的结果数据

根据实际需求,查看有关选项的信息,了解转换的执行情况,定位和分析出错的地方,维护和优化转换工程

补充扩展知识

在"转换1"转换工程名称的下方,是转换工程的快捷菜单图标

有关快捷菜单图标说明如下表所示

快捷菜单图标栏(图标说明)

2.任务

在Kettle欢迎界面中,点击【文件】|【新建】|【作业】选项或者使用Ctrl + Alt + N快捷键创建"作业1"任务工程

在"作业1"的任务工程中,单击左边的组件区域中的"通用"对象,将会显示出"通用"对象下所有的组件,选择【Start】组件,拖曳至右边的工作区域中,完成【Start】组件的创建

创建【Start】组件后,即可设置该组件的参数,将【Start】组件参数设置为"不需要定时",并单击工作区域上方的【运行任务】按钮,弹出"执行作业"对话框,单击该对话框中的【执行】按钮

在"执行结果"面板上展示有关执行的结果信息

运行任务工程和查看执行结果

与转换工程类似,新建任务工程后,设置有关组件参数,使用运行操作,即可在执行结果面板上,查看任务执行的有关结果,但是并不能查看结果数据

执行结果面板有【日志】【历史】【作业度量】【Metrics】4个选项卡,每个选项卡的具体说明如下

1. 日志,默认选项,显示执行任务中的日志信息,这些信息一般包括执行任务成功、失败、失败的错误提示信息等

2. 历史,显示【作业日志表】【作业项日志表】【日志通道日志表】等表的信息

3. 作业度量,显示组件一些可以度量的数据信息,如执行任务中的结果、原因等信息

4. Metrics,显示有关任务的组件执行时间、读取数据文件时间等指标数据

根据实际需求,查看有关选项的信息,了解任务的执行情况,定位和分析出错的地方,维护和优化任务工程

补充扩展知识

在"作业1"转换工程的下方,是任务工程的快捷菜单图标

有关任务工程快捷菜单图标说明如下表所示

kettle管理工具专门为kettle这款优秀的ETL工具开发的web管理工具。项目简介kettle作为非常优秀的开源ETL工具得到了非常广泛的使用,一般的使用的都是使用客户端操作管理,但问题是当投入生产环境使用时,动辄上百或几百个job需要管理,这时在使用客户端管理已经很难完成了。我所知道的解决方案有用命令行的调用的,操作麻烦,总之还是很难用啦,还有就是开发web管理工具,kettle自带了一个web管理工具,界面极其简陋不说,还很难用,基本无法投入生产环境使用,其他没留意到还有没有较好对众多job进行管理的工具。基于以上情况,和我近两年的kettle定制开发与使用经验。我设计并开发了这款kettle web管理工具。本系统当前支持oracle和mysql项目功能job运行参数设置,可以在页面上设置作业运行参数,每次运行作业时会用设置的参数覆盖默认值,这个很多人用不上。定时设置,操作界面kettle中的开始控件界面一致,这个可能是最优用的功能之一。作业的运行与停止,核心功能就不说了。实时查看作业运行日志,最大显示行数可以配置,这个功能看起来不起眼,实际应该是很有用的。后台有一个作业专门完成将运行的作业日志写入日志文件,文件按天分文件夹存放,日志文件大小可以配置,若觉得占用空间,可以设计一个作业进行定时清理以前的日志文件,后续会提供该作业。也可以配置为不写日志文件。作业的运行状态会定时反映到管理界面,我们可以通过多种条件筛选我们需要的作业进行批量运行或停止。本系统是基于数据库资源库设计的,暂时不考虑支持文件资源库。本系统还附带了一个kettle插件,类似kettle已有的自定义类控件(可以在转换中写java代码)。该控件的设计时为了避免每一个需求都去开发一个kettle控件,从后台元数据管理到操作界面设计。该控件采用灵活的JSON传递参数,然后继承一个基类就可以完成一个任务了,就是说基于该控件,只需要开发一个具体的操作类就可以了。有兴趣可以看一下,详细介绍参看:http://www.cnblogs.com/majinju/p/5767046.html。界面截图主界面定时设置界面参数设置界面运行日志查看界面平台级日志,支持查询下载项目介绍主页:kettle-manager主页 标签:Kettle  ETL工具框架
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值