数据的清洗与检验之数据清洗

一、对文件merge.csv进行完全去重
1、打开kettle工具，新建转换。添加相应的控件，如图所示。

2、配置csv文件输入控件。添加好相应的文件，单击获取字段，kettle检索csv文件进行分析。
3、配置唯一行控件。在用来比较的字段处添加去重字段，如图所示。
4、运行转换。

二、对文件people- survey.txt中的缺失值进行填充。
1、打开kettle工具，创建转换。

2、配置文本文件输入控件。添加要填充缺失值的文件。单击内容选项卡，在分隔符处插入一个制表符，取消勾选头部复选框。单击字段选项卡，添加相应的字段。



3、配置过滤记录控件。

4、配置替换null值控件。

5、配置合并记录控件。

6、配置替换null值2控件。

7、配置字段选择控件。

8、运行转换。

9、单击字段选择控件，单击执行窗口preview data选项卡，查看完成填充文件的缺失值。