第五章 数据的清洗与检验——操作题

通过Kettle工具,实现以下功能:

1.对文件merge.csv进行完全去重。

（1）打开Kettle工具，新建转换
使用Kettle工具创建转换repeat. transform, 并添加“CSV文件输人”控件、“唯一行(哈希值)”控件以及Hop 跳连接线

（2）配置“CSV文件输入”控件，进入“CSV文件输入”界面

 双击“CSV文件输入”控件，进入“CSV文件输入”界面

单击“浏览”按钮，选择要进行完全去重处理的CSV文件merge.csv

单击“获取字段”按钮Kettle会自动检索CSV文件，并对文件中的字型、格式、长度精度等属性进行分析

 

单击"预览”按钮，查看CSV文件merge. csv的数据是否加载到CSV文件输入流中

 CSV文件merge. csv的数据已经成功抽取到csv文件输入流中，单击“关闭”“确定”按钮，完成“CSV文件输入”控件的配置

（3）配置“唯一行(哈希值)”控件
双击“唯一行(哈希值)”控件，进入“唯一行(哈希值)”界面 

在“用来比较的字段"处添加要去重的字段,这里可以单击“获取”按钮，添加需要去重的字段

 单击“确定"按钮，完成“唯一行(哈希值)”控件的配置

&#x