kettle （5.3 去除缺失值）

数据缺失分为两种：一种是行记录的缺失，这种情况又称数据记录丢失；另一种是数据列值的缺失，即由于各种原因导致的数据记录中某些列的值空缺。

去除缺失值数据通常分为两种情况：一种是删除存在遗漏信息属性值的对象的列，另一种是删除存在遗漏信息属性值对象的记录，从而得到一个完备的信息表。缺失值数据在缺失值所在的列对最终分析结果无重要意义或存在缺失值的记录与初始数据集的数据量相比非常小的情况下非常有效。

在数据量小的情况下，通过人为观察就可以轻易从数据集中找到存在缺失值的记录；若是数据量比较大，那么通过人为观察的方式查找存在缺失值的记录是非常耗时的，因此数据集较大的情况下可利用统计学方法筛选出包含缺失值的对象，然后通过计算得出每个字段的缺失率，去除缺失率高的字段，最后再对数据进行过滤，将有缺失值的记录过滤掉，这样就可以避免数据大量的丢失。

一、创建转换

二、配置控件

1、文本文件输入

单击“浏览”按钮，选择要去除缺失值的文件revenue.txt

单击“增加”按钮，将要去除缺失值的文件revenue.txt添加到“文本文件输入”控件中。  

单击“内容”选项卡；在清除分隔符处的默认分隔符“；”

单击“Insert TAB”按钮，在分隔符处插入一个制表符并取消勾选“头部”复选框，若不取消，在进行数据抽取操作时会排除文件第一行的数据。 

点击“字段”选项卡，获取字段

 单击“预览记录”按钮，查看文件revenue.txt中的数据是否成功抽取到文本文件输入流中

 

2、字段选择 

点击“移除”

 

3、过滤记录 

在“发送true数据给步骤：”处的下拉框中选择“空操作”，将包含缺失值的行数据放在空操作控件中；在“发送false数据给步骤：”处的下拉框中选择“Excel输出”，将没有缺失值的行数据输出到Excel文件中。 

在“条件”处设置过滤的条件，过滤掉有缺失值的数据字段（这里是过滤Name、Pay和Area字段中的缺失值）；单击左边“<field>”框，弹出字段对话框，选择要过滤的字段Name；单击 “=”框，弹出函数对话框，选择过滤条件（这里选择IS NULL）

单击符号“+”增加过滤条件；单击“AND”，弹出操作符对话框，选择操作符（这里选择的是OR）

 

单击“增加条件”图中的“null = [ ]”，添加过滤字段；单击左边“<field>”框，弹出字段对话框，选择要过滤的字段Pay；单击“=”框，弹出函数对话框，选择过滤条件（这里选择IS NULL）。字段Pay的过滤设置。

最终结果如图所示

 

4、 Excel输出

三、执行结果