ETL笔记——第五章 数据清洗与校验（数据去重）

一、完全去重

通过Kettle工具，消除CSV文件merge.csv中完全重复的数据。

1、数据准备

合并后的用户名单存放在CSV文件merge.csv中，内容如图所示。

 

2、repeat_transform转换

（1）通过使用Kettle工具，创建一个转换repeat_transform，并添加“CSV文件输入”控件、“唯一行（哈希值）”控件以及Hop跳连接线，具体如图所示。

 

（2）各控件配置

1）配置CSV文件输入控件：

双击“CSV文件输入”控件，进入“CSV文件输入”配置界面。

单击【浏览】按钮，选择要进行完全去重处理的CSV文件merge.csv；再单击【获取字段】按钮，Kettle会自动检索CS