5.1 数据去重(完全去重)

案例介绍:

通过Kettle工具,消除CSV文件merge.csv中完全重复的数据。

案例实现:

1.打开Kettle工具,创建转换

通过使用Kettle工具,创建一个转换repeat_transform,并添加“CSV文件输入”控件、“唯一行(哈希值)”控件以及Hop跳连接线,具体如图所示。

配置2.CSV文件输入控件

双击“CSV文件输入”控件,进入“CSV文件输入”配置界面,具体如图所示。

单击【浏览】按钮,选择要进行完全去重处理的CSV文件merge.csv;再单击【获取字段】按钮,Kettle会自动检索CSV文件,并对文件中的字段类型、格式、长度、精度等属性进行分析。

 单击【预览】按钮,查看CSV文件merge.csv的数据是否加载到CSV文件输入流中。

 

 3.配置”唯一行(哈希值)”控件

双击“唯一行(哈希值)”控件,进入“唯一行(哈希值)”配置界面。

 在“用来比较的字段”处,添加要去重的字段,这里可以单击【获取】按钮,获取要去重的字段。

4.运行转换repeat_transform

单击转换工作区顶部的运行按钮,运行创建的repeat_transform转换。

5.查看merge.csv是否消除完全重复的数据

选中“唯一行(哈希值)”控件,单击执行结果窗口的“Preview data”选项卡,查看是否消除CSV文件merge.csv中完全重复的数据。

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值