5.1Kettle数据的清洗与检验——完全去重

完全去重指的是消除完全重复的数据，这里提到的完全重复数据指的是数据表记录字段值完全一样的数据。

例如，现在有两个表格,分别记录不同年份的用户信息，现要求合并统计所有用户信息，发现合并后的表格存在完全重复的数据，合并后的数据表中存在完全相同的数据，为了便于后期更加方便地使用这些用户数据，通常情况下会对数据进行去重操作。
接下来使用 Kettle工具演示如何消除这些完全重复的数据，具体步骤如下。
 

1.准备数据

合并后的存放在merge.csv文件中，具体内容如图所示。

2.打开kettle工具，创建转换repeat_transform，并添加如下控件

3.配置“CSV文件输入”控件

导入数据文件merge.csv，点击“获取字段”

选择“预览”，预览数据

 4.配置“唯一行（哈希值）”控件

5.运行转换

 

查看输出数据

重复值完全去除成功！