kettle (5.1 完全去重)

完全去重指的是消除完全重复的数据，完全重复数据指的是数据表记录字段值完全一样的数据。

在该例子中，有两个表格分别记录了不同年份的用户信息，现在要求合并所有用户的信息，但合并后的表格存在完全重复的数据,为了方便查询这些用户的信息数据，对数据进行完全去重操作。

一、创建转换

 二、配置控件

1、CSV文件输入

单击“浏览”，选择要进行完全去重处理的CSV文件merge.csv；再单击“获取字段”，Kettle会自动检索CSV文件，并对文件中的字段类型、格式、长度、精度等属性进行分析。 

预览数据

2、唯一行（哈希值） 

在“用来比较的字段”处，添加要去重的字段，可以单击“获取”按钮，获取要去重的字段。

三、执行结果