5.3.4修补异常值

阿卿冈日

已于 2022-11-24 10:06:01 修改

阅读量140

点赞数

文章标签：开发语言

于 2022-11-15 08:56:27 首次发布

本文链接：https://blog.csdn.net/m0_68714092/article/details/127852430

版权

本文介绍了如何使用数据集成工具Kettle处理数据集中的异常值。通过创建转换fill_unusual_value，利用‘表输入’、‘过滤记录’、‘空操作’、‘设置值为NULL’、‘合并记录’和‘替换NULL值’等控件，对异常值进行筛选和替换。在身高调查数据表interpolation_data中，通过设定Height字段的正常范围，过滤出异常值并用平均身高值170进行填充，从而修复数据异常。

摘要由CSDN通过智能技术生成

通过直接删除的方式处理异常值，虽然是最直接方法的方法，但是会减少数据样本，因此在数据集小的情况下，减少数据样本会对结果产生影响；在含有较多异常值的数据集中，大量的删除异常值也会对结果产生影响。因此，当异常值没有可研究性的情况下，应该对这些异常值进行修补处理。修补异常值的方式主要有两种，即改异常值和替换异常值。

通过Kettle工具，替换和修改数据表interpolation_data中的异常值。

现在有一份500人的身高调查数据表interpolation_data，其中包括id、Gender和Height字段，具体数据内容如图所示（注：这里只截取了部分人的数据）。

1.打开Kettle工具，创建转换

通过使用Kettle工具，创建一个转换fill_unusual_value，并添加“表输入”控件、“过滤记录”控件、“空操作（什么也不做）”控件、“设置值为NULL”控件、“合并记录”控件、“替换NULL值”控件、字段选择控件以及Hop跳连接线。

2.配置表输入控件

在SQL框中编写查询数据表interpolation_data的SQL语句，然后单击【预览】按钮，查看数据表interpolation_data的数据是否成功从MySQL数据库中抽取到表输入流中。

3.配置过滤记录控件

在“条件”处设置过滤的条件，即设置Height字段的取值范围（[114-226]），从而判断数据表中的每个数据是否为异常值。若是在非异常值的取值范围内，则是非异常值，否则是异常值。在“发送true数据给步骤：”处的下拉框中选择“空操作（什么也不做）2”，将非异常值放在“空操作（什么也不做）2”控件中；在“发送false数据给步骤：”处的下拉框中选择“空操作（什么也不做）”，将异常值放在“空操作（什么也不做）”控件中。