简介
由于当今数据的数量庞大且来自于各种不同类型的来源,因此出现数据异常的可能性不断增加。鉴于高质量数据可生成更好的模型和预测,数据预处理的重要性与日俱增,并且已经成为数据科学/机器学习/AI 管道中的基本步骤。在本文中,我们将探讨数据处理需求,并讨论用于完成此流程中每个步骤的不同方法。
在数据收集过程中,存在三个影响数据质量的主要因素:
准确率:与期望值之间存在偏差的错误值。数据不准确的原因多种多样,包括:
数据输入和传输期间发生的人为错误/计算机错误
用户有意提交错误值(称为“伪装缺失数据”)
输入字段格式错误
训练示例重复
完整性:缺少属性值/特征值/关联值。数据集可能因以下原因而不完整:
数据不可用
删除不一致数据
删除最初被认为无关的数据
一致性:数据聚合不一致。
影响数据质量的一些其他特征还包括及时性(在某些时间段之后但在提交所有相关信息之前数据不完整)、可信度(用户信任的数据量)以及可解释性(所有利益相关方是否都能轻松理解数据)。
为确保获得高质量的数据,对数据进行预处理就显得至关重要。为了简化此流程,数据预处理分为四个阶段:数据清理、数据集成、数据缩减和数据转换。
数据清理
“数据清理”是指用于“清理”数据的方法,具体包括移除异常值、替换缺失值、将干扰数据进行平滑处理以及纠正不一致数据。在执行上述每一项任务的过程中会使用到多种不同方法,将根据用户偏好或问题集来确定具体使用的方法。下面从问题解决方法的角度介绍了每一项任务。
缺失值
为了解决缺失数据的问题,可采用多种方法。让我们来逐一了解这些方法。