完全去重指的是消除完全重复的数据,完全重复数据指的是数据表记录字段值完全一样的数据。
在该例子中,有两个表格分别记录了不同年份的用户信息,现在要求合并所有用户的信息,但合并后的表格存在完全重复的数据,为了方便查询这些用户的信息数据,对数据进行完全去重操作。
一、创建转换
二、配置控件
1、CSV文件输入
单击“浏览”,选择要进行完全去重处理的CSV文件merge.csv;再单击“获取字段”,Kettle会自动检索CSV文件,并对文件中的字段类型、格式、长度、精度等属性进行分析。
预览数据
2、唯一行(哈希值)
在“用来比较的字段”处,添加要去重的字段,可以单击“获取”按钮,获取要去重的字段。
三、执行结果