ETL笔记——第五章 数据清洗与校验（缺失值处理）

一、去除缺失值

通过Kettle工具，去除原始数据集revenue.txt中的缺失值。

1、数据准备

现在有一份就业人员的收入数据文件revenue.txt，由于某种原因，在数据采集的过程中产生了大量的缺失值数据，内容如图所示。

2、delete_missing_value转换

（1）通过使用Kettle工具，创建一个转换delete_missing_value，并添加“文本文件输入”控件、“字段选择”控件、“过滤记录”控件、“Excel输出”控件、“空操作（什么也不做）”控件以及Hop跳连接线。

（2）各控件配置

1）配置文本文件输入控件

将要去除缺失值的文件revenue.txt添加到“文本文件输入”控件中。

单击“内容”选项卡；在清除分隔符处的默认分隔符“；”，单击【Insert TAB】按钮，在分隔符处插入一个制表符；取消勾选“头部”复选框。

单击“字段”选项卡；根据文件revenue.txt的内容添加对应的字段名称，并指定数据类型。

单击【预览记录】按钮，查看文件revenue.tx