使用Kettle实现数据排序

一、Kettle的安装

        1.下载Kettle的安装包文件

在Windows系统中打开浏览器,访问Kettle官网(https://sourceforge.net/projects/pentaho/),下载Kettle安装文件pdi-ce-9.1.0.0-324.zip。

或者在我的百度网盘分享里面下载

链接:https://pan.baidu.com/s/1qZ7o3MT0635kMC-ojfeUiA?pwd=huan 
提取码:huan

        2.解压缩安装包文件

把pdi-ce-9.1.0.0-324.zip解D:\bigdataCol\”目录下,会生成一个“data-integration”目录,该目录下就包含了Kettle。

        3.在E:\bigdataCol\data-integration目录里包含了Spoon的启动文件,即spoon.bat双击该文件就可以启动Spoon,启动界面如图所示。

启动成功以后的界面如图所示

二、使用Kettle实现数据排序

实例,演示如何使用Kettle实现数据排序,具体包括如下步骤:

创建文本文件;

建立转换;

设计转换;

执行转换。

(1)创建文本文件

  在“E:\bigdataCol\kettle\”目录下新建一个文本文件score.txt,其内容如图所示,文件的第1行是字段名称,包括name和score,字段之间用分号隔开,其余行都是记录,字段值之间也是用分号隔开

(2)建立转换

 在Spoon主界面的“主对象树”栏目中,在“转换”上面(如图所示)单击鼠标右键,在弹出的菜单中点击“新建”。点击Spoon主界面左上角的“保存”图标,把这个转换保存到某个路径下(E:\bigdataCol\kettle\)并且名称为“sort_data”。

(3)设计转换

在“核心对象”栏目中,在“输入”控件里把“文本文件输入”拖到右侧设计区域,然后在“转换”控件里把“排序记录”拖到右侧设计区域,然后为这两个控件建立连线

  1. 双击设计区域的“文本文件输入”控件图标,打开设置界面(如图所示),点击“文件或目录”右侧的“浏览”按钮,添加文件“E:\bigdataCol\kettle\score.txt”,然后,点击“增加”按钮,执行效果如图

 

 在“内容”选项卡中,设置分隔符为分号“;”

 在“字段”选项卡中(如图所示),点击“获取字段”按钮,成功获取字段以后的效果如图所示。

 

 点击界面(如图所示)底部的“预览记录”按钮,就可以预览数据(如图所示)。最后,点击界面底部的“确定”按钮,完成“文本文件输入”控件的设置。

 双击设计区域的“排序记录”控件图标,打开设置界面(如图所示),在“字段名称”下拉列表中选择“score”,在“升序”下拉列表中选择“是”,然后点击“确定”按钮完成设置。全部设置完成以后,需要保存设计文件。

4.执行转换

 

  • 4
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
Kettle是一款开源的ETL(Extract, Transform, Load)工具,用于数据的抽取、转换和加载。使用Kettle可以方便地进行数据的导入、导出、清洗和转换等操作。 要使用Kettle更新数据,可以按照以下步骤进行操作: 1. 安装Kettle:首先需要下载并安装Kettle工具,可以从官方网站(https://sourceforge.net/projects/pentaho/files/Data%20Integration/)下载最新版本。 2. 创建转换(Transformation):在Kettle中,数据处理的基本单位是转换。打开Kettle工具后,点击“新建”按钮创建一个新的转换。 3. 添加数据源:在转换中,首先需要添加数据源。可以通过拖拽“输入”组件到转换面板上,并配置相应的连接信息,如数据库连接、文件路径等。 4. 添加转换步骤:根据需要,可以添加多个转换步骤来对数据进行处理。例如,可以使用“选择字段”步骤来选择需要更新的字段,使用“过滤行”步骤来筛选需要更新的数据等。 5. 添加目标表:在转换中,还需要添加目标表来存储更新后的数据。可以通过拖拽“输出”组件到转换面板上,并配置相应的连接信息和目标表名。 6. 配置更新操作:在目标表组件中,可以设置更新操作的方式。可以选择“插入/更新”来实现根据主键进行更新,或选择“更新”来实现根据指定字段进行更新。 7. 运行转换:配置完成后,点击运行按钮即可执行转换操作。Kettle会根据配置的步骤顺序依次处理数据,并将更新后的数据写入目标表中。 以上是使用Kettle更新数据的基本步骤。当然,Kettle还提供了丰富的功能和组件,可以根据具体需求进行更复杂的数据处理操作。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值