Kettle：数据去重与缺失值处理

1.对文件merge.csv进行完全去重

(1)创建转换
使用Kettle工具创建一个转换（保存可修改转换名称），并添加“csv文件输入”控件、“排序记录”控件、“去除重复记录”控件以及Hop跳连接线。
（2）配置csv文件输入控件

点击“预览”查看该文件是否加载到csv文件输入流中。
（3）配置唯一行（哈希值）控件

（4）运行该转换，查看结果

2.对文件people_survey.txt.中的缺失值进行填充

（1）创建转换
通过使用Kettle工具，创建一个转换，并添加“文本文件输入”控件、“过滤记录”控件、“空操作（什么也不做）”控件、“替换NULL值”控件、“合并记录”控件、“字段选择”控件以及Hop跳连接线。
（2）配置“文本文件输入”控件

单击“字段”选项卡；根据文件文件的内容添加对应的字段名称，并指定数据类型
预览记录：
（3）配置过滤控件

（4）配置“替换NULL值”控件

（5）配置“合并记录”控件

（6）配置“替换NULL2值”控件

（7） 配置“字段选择"控件

（8）运行转换，观察结果