5.1 数据去重（完全去重）

5.1.1完全去重

通过Kettle工具，消除CSV文件merge.csv中完全重复的数据。

1.打开Kettle工具，创建转换

通过使用Kettle工具，创建一个转换，并添加“CSV文件输入”控件、“唯一行（哈希值）”控件以及Hop跳连接线，具体如图所示。

2.配置CSV文件输入控件

 双击“CSV文件输入”控件，进入“CSV文件输入”配置界面单击【浏览】按钮，选择要进行完全去重处理的CSV文件merge.csv；再单击【获取字段】按钮

单击【预览】按钮，查看CSV文件merge.csv的数据是否加载到CSV文件输入流中。

 

3.配置”唯一行（哈希值）”控件 

双击“唯一行（哈希值）”控件，进入“唯一行（哈希值）”配置界面。

在“用来比较的字段”处，添加要去重的字段，这里可以单击【获取】按钮，获取要去重的字段。  

 

4.运行转换

选中“唯一行（哈希值）”控件，单击执行结果窗口的“Preview data”选项卡，查看是否消除CSV文件merge.csv中完全重复的数据。