kettle实验七:去除重复的数据

【实验目的】
1.熟练掌握“去除重复记录”,“排序记录”,“文本文件输入”等组件的使用,实现去除重复数据。
2.熟练掌握“去除重复记录”,“排序记录”,“文本文件输入”等组件的使用,实现去除重复数据。

【实验原理】
通过“阻塞数据直到步骤都完成”对多张表格的外键进行排序,然后通过“记录集连接”进行多表连接,再通过“字段选择”选择合适的字段输出到表格。

【实验环境】
操作系统:Windows10 
Kettle版本:7.1.0.0
jdk版本:1.8.0及以上版本

【实验步骤】

一、建立转换

双击spoon.bat打开kettle。(1)点击新建按钮,在下拉菜单中点击选择“转换”即可创建;(2)然后点击“保存”重命名该转换文件,保存在某个指定的路径;(3)选择输入步骤、输出步骤和跳。
在这里插入图片描述

二、各组件的配置

1.“Excel输入”的配置
Step1:双击‘Excel输入’组件,配置‘文件’选项卡,设置文件输入流类型和路径
在这里插入图片描述

Step2:配置‘工作表’选项卡,设置输入文件读取的起始行 和起始列
在这里插入图片描述

Step3:配置‘字段’选项卡,获取输入数据的字段,并设置数据类型
在这里插入图片描述

2.“排序记录”的配置:
双击“排序记录”组件,根据输入的数据设置以‘课程名称’字段排序。
在这里插入图片描述

3.“去除重复记录”的配置:
双击‘去除重复记录’组件,选取‘用来比较的字段’,这里从输入数据的某一字段挑选
在这里插入图片描述

4.“排序记录2”配置
双击“排序记录2”配置,根据之前排序得到的结果,在这里通过编号再次排序,为输出准备。
在这里插入图片描述

5.“Microsoft Excel 输出”的配置
Step1:配置‘文件&工作表’选项卡,获取输出文件的路径和类型
在这里插入图片描述

Step2:配置‘内容’选项卡,获取输出数据的字段名称和类型
在这里插入图片描述

三、执行转换:

点击按钮,执行转换,结果如下:
在这里插入图片描述

四、实验结果:

输入文件‘课程信息表07.xlsx’:
在这里插入图片描述

输出文件‘test6.xlsx’:
在这里插入图片描述

五、实验总结:

本次实验的目的主要是“去除重复记录”和“排序记录”组件的使用,并理解其背后的对实验目的原理,本次实验较为简单,暂时未遇到困难。

附 件:

在这里插入图片描述

  • 18
    点赞
  • 87
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值