数据清洗 第五章

一、对文件merge.csv进行完全去重

   1.使用Kettle工具创建转换repeat. transform, 并添加“CSV文件输人”控件、“唯一行(哈希值)”控件以及Hop 跳连接线.

   2.双击“CSV文本输入”控件，进入“CSV文件输入”界面，点击浏览按钮，选择要去重的CSV文件

   3.点击获取字段，Kettle会自动检索CSV文件，并对文件属性就行分析，单击预览，查看CSV文件是否被加载到CSV文件输入流中。

   4.匹配“唯一行（哈希值）”控件
  双击“唯一行（哈希值）”控件按钮，进入“唯一行（哈希值）”界面
 “用来比较的字段”处添加要去重的字段，单击“获取”按钮，添加需要去重的字段，点击确认，完成“唯一行（哈希值）”控件的配置。