5.3 异常值处理（删除包含异常值的记录）

5.3.1 删除包含异常值的记录

1.案例介绍

通过Kettle工具，去除文件temperature.txt中的异常值。

2.数据准备

现在有这样一份记录一天中不同时间温度的数据文件temperature.txt，其中包含时间和温度（摄氏度）两个字段，具体内容如图所示。

3.具体步骤

（1）打开Kettle工具，创建转换

通过使用Kettle工具，创建一个转换，并添加“文本文件输入”控件、“过滤记录”控件、“空操作（什么也不做）”控件以及Hop跳连接线。

（2）配置文本文件输入控件 

双击“文本文件输入”控件，进入“文本文件输入”配置界面，先单击【浏览】按钮，选择要去除异常值的文件temperature.txt，然后单击【增加】按钮，将要去除异常值的文件temperature.txt添加到“文本文件输入”控件中。

  单击“内容”选项卡；清除分隔符处的默认分隔符“；”，单击【Insert TAB】按钮，在分隔符处插入一个制表符；取消勾选“头部”复选框，若不取消，在进行数据抽取操作时会排除文件第一行的数据。

 单击“字段”选项卡；根据文件temperature.txt的内容添加对应的字段名称，并指定数据类型。

 单击【预览记录】按钮，查看文件temperature.txt的数据是否成功抽取到文本文件输入流中。

（3）配置过滤记录控件 

在“条件”处设置过滤的条件，将过滤字段设置为temperature、过滤值为137。在“发送true数据给步骤：”处的下拉框中选择“空操作（什么也不做）2”，在“发送false数据给步骤：”处的下拉框中选择“空操作（什么也不做）”。

（4）运行转换

4.查看文件temperature.txt 

单击“空操作”控件，再单击执行结果的“Preview data”选项卡，查看是否去除了异常值。

 由上图可知，文件temperature.txt 中不存在异常数据。