5.1.1Kettle数据的清洗与检验——完全去重

对文件merge.csv进行完全去重

1、打开Kettle工具，新建转换

使用Kettle工具创建转换repeat. transform, 并添加“CSV文件输人”控件、“唯一行(哈希值)”控件以及Hop 跳连接线

2、配置“CSV文件输入”控件，进入“CSV文件输入”界面
双击“CSV文件输入”控件，进入“CSV文件输入”界面

单击“浏览”按钮，选择要进行完全去重处理的CSV文件merge.csv

单击“获取字段”按钮Kettle会自动检索CSV文件，并对文件中的字型、格式、长度精度等属性进行分析

单击"预览”按钮，查看CSV文件merge. csv的数据是否加载到CSV文件输入流中  

 

CSV文件merge. csv的数据已经成功抽取到csv文件输入流中，单击“关闭”“确定”按钮，完成“CSV文件输入”控件的配置

 3、配置“唯一行（哈希值）”控件
双击“唯一行(哈希值)”控件，进入“唯一行(哈希值)”界面 

在“用来比较的字段"处添加要去重的字段,这里可以单击“获取”按钮，添加需要去重的字段

4、运行转换repeat_transform

单击转换工作区顶部的“运行”按钮，运行创建的转换repeat_transform，实现消除CSV文件merge.csv中完全重复的数据

从执行结果窗口的“步骤度量”选项卡可以看出，“CSV文件输人”控件输人10条数据并写入该控件9条数据(其中有1条数据为表头)；“唯行(哈希 值)”控件从“CSV文件输人”控件读取9条数据，写人该控件7条数据,拒绝2条数据(这2条数据为完全重复数据)。也就是说,CSV文件merge. csv中有2条数据与其他数据完成重复

选中“唯一行(哈希值)”控件，单击执行结果窗口的Preview data选项卡，查看是否消除CSV文件merge. csv中完全重复的数据