kettle实例-异常值处理-删除包含异常值的记录

1.通过使用Kettle工具，创建一个转换delete_anomalous _value，并添加“文本文件输入”控件、“过滤记录”控件、“空操作（什么也不做）”控件以及Hop跳连接线。

 2.双击“文本文件输入”控件，进入“文本文件输入”配置界面。先单击【浏览】按钮，选择要去除异常值的文件temperature.txt，然后单击【增加】按钮，将要去除异常值的文件temperature.txt添加到“文本文件输入”控件中。

 

3.单击“内容”选项卡；清除分隔符处的默认分隔符“；”，单击【Insert TAB】按钮，在分隔符处插入一个制表符；取消勾选“头部”复选框，若不取消，在进行数据抽取操作时会排除文件第一行的数据。

 4.单击“字段”选项卡；根据文件temperature.txt的内容添加对应的字段名称，并指定数据类型。

 5.单击【预览记录】按钮，查看文件temperature.txt的数据是否成功抽取到文本文件输入流中。

 

6.双击“过滤记录”控件，进入“过滤记录”配置界面。在“条件”处设置过滤的条件，由于文件temperature.txt中time为6：30的温度是137摄氏度，不在非异常值的范围内，因此属于异常值，我们应该将过滤字段设置为temperature、过滤值为137。

7.在“发送true数据给步骤：”处的下拉框中选择“空操作（什么也不做）2”，将异常值放在“空操作（什么也不做）2”控件中；在“发送false数据给步骤：”处的下拉框中选择“空操作（什么也不做）”，将非异常值放在“空操作（什么也不做）”控件中。

8.单击转换工作区顶部的     按钮，运行创建的delete_anomalous_value转换。

 9.查看文件temperature.txt是否去除了异常值