第五章 数据清洗与检验

 

 2对文件people_survey.txt中的缺失值进行填充 

1.使用kettle创建转换fill_missing_value,添加控件及连接线，效果如图所示。

2.配置“文本文件输入”控件

双击“文本文件输入”控件，进入界面，然后点击“浏览”按钮，选择要填充的缺失值文件people_survey.txt,效果如图所示。

然后点击“增加”按钮，将要填充的缺失值文件添加到“文本文件输入”控件。

 然后点击“内容”选项卡，切换到内容界面，清除分隔符处的默认分隔符“；”，点击Insert TAB按钮，在分隔符处插入一个制表符；取消勾选”头部“复选框，若不取消，则在进行数据抽取操作时会排除文件第一行的数据。

单击“字段”选项卡，切换到“字段”选项卡界面，根据文件内容添加对应的字段名称，并指定数据类型。

单击“预览数据”按钮，查看文件数据是否成功抽取到文本文件输入流中。

3.配置“过滤记录”控件

双击“过滤记录”控件，进入界面

 

在“条件”处设置过滤的条件，将过滤字段设置为workclass、过滤值设置为Private作为过滤条件。

在“发送TRUE数据给步骤”选择“空操作（什么也不做）”，将workclass字段值为Private的数据放在“空操作”控件中;在“发送 false数据给步骤:”下拉列表中选择“空操作(什么也不做)2”,将 workclass字段值workclass不为Private的数据放在“空操作（什么也不做）2”控件中。

 

 4.配置“替换NULL值”控件

 双击“替换NULL值”控件

勾选“选择字段”复选框，并在“字段”框添加字段hours_per_week,值替换为44.然后点击确定，完成该控件的配置。

 5.配置“合并记录”控件

 

6.配置“替换NULL值2”控件

勾选“选择字段”复选框，并在“字段”框添加字段为workclass，值替换为Private.

 7.配置“字段选择”控件

 在“移除”选项卡界面添加要移除的字段名称，这里是flagfield。

 8.运行转换fill_missing_value