R语言|数据预处理方法

数据预处理的主要内容包括

数据清洗

原始数据的质量直接影响了数据分析的质量，不符合要求的脏数据有：

• 无关数据。
• 重复数据或者含有特殊符号的数据。
• 缺失值。产生原因是有些数据无法获取，或者获取成本过高，或者获取数据时产生误差。
• 异常值。指明显偏离其他观测值的数据。

数据清晰需要处理脏数据，包括删除无关数据、重复数据，处理缺失值、异常值。

**缺失值处理：**使用NA表示，is.na识别是否存在缺失值。缺失值常见处理方法：

• 删除法：使用na.omit()移除缺失行，该方法适用于缺失目标影响不大的情况。
• 替换法：如果缺少数值型变量，使用均值代替；非数值型变量使用其他全部有效观测值的中位数或众数进行替换。
• 插补法：回归插补法（利用回归模型预测缺失值）、多重插补法（使用mice函数包产生缺失值随机样本）。

**异常值处理：**使用箱线图、散点图进行识别，如超过上下四分位数 +/- 1.5倍上下四分位数间距的为异常值。还可以使用标准差寻找。异常值的处理方法是：

• 直接删除。如果样本量很少，或者删除后影响整个数据集，不建议删除。
• 视为缺失值，利用缺失值的方法处理。
• 平均值修正。使用前后两个观测值的平均值修正