竞赛数据清洗缺失值_R语言系列 数据清洗2 缺失值处理方法

【免责声明：用于教学资料整理】

目录：

一. 直接删除法

二. 用均值/中位数/众数填补

三. 探索变量的相关性插补

四. 探索样本的相似性填补

五. 分类树与回归树预测法插补（rpart包）

六. 多重插补法（mice包）

正文：

一、直接删除法

即直接删除含有缺失值的样本，有时最为简单有效，但前提是缺失数据的比例较少，且缺失数据是随机出现的，这样删除缺失数据后对分析结果影响不大。

1. 向量删除缺失值

x<-c(1,2,3,NA,5)

mean(x) #默认不忽略NA值或NaN值，注意与NULL的区别

[1] NA

mean(x,na.rm=TRUE) #忽略缺失值

[1] 2.75

x1<-x[!is.na(x)] #去掉向量中的NA值

x1

[1] 1 2 3 5

x2<-na.omit(x) #返回去掉NA值的向量

x2

[1] 1 2 3 5

attr(,"na.action")

[1] 4

attr(,"class")

[1] "omit"

na.fail(x) #若向量有NA值，则返回Error

Error in na.fail.default(x) : 对象里有遺漏值

na.fail(x1) #若向量不含NA值，则返回该向量

[1] 1 2 3 5

attr(na.omit(x),"na.action") #返回向量中NA值的下标

[1] 4

attr(,"class")

[1] "omit"

x[is.na(x)]<-0 #将向量x中的NA值替换为0

x

[1] 1 2 3 0 5

2. 删除含缺失值的样本数据

用DMwR包实现。

library(DMwR) #用自带数据集algae，18个变量，200个观测值

library(VIM)

sum(!complete.cases(algae)) #查看含有缺失值的样本个数

[1] 16

algae1<-na.omit(algae) #直接删除所有含缺失值的样本

sum(!complete.cases(algae1))

[1] 0

#只删除缺失值过多的样本：缺失值个数大于列数的20%

algae2<-algae[-manyNAs(algae,0.2),] #数据框的“删除行”操作

sum(!complete.cases(algae2))

[1] 14

其中，函数manyNAs(x, nORp)用来查找数据框x中缺失值过多（≥缺失比例nORp）的行；nORp默认为0.2，即缺失值个数≥列数的20%

注：当删除缺失数据会改变数据结构时，通过对完整数据按照不同的权重进行加权，可以降低删除缺失数据带来的偏差。

3. 删除变量

若数据的某变量（列）有较多的缺失值且对研究目标影响不大时，可以将整列删除，这需要在变量的重要性和观测的数量之间做权衡。

4. 做统计分析时排除缺失值

例如，做线性回归时，设置na.action=na.omit即可：

lm(medv~ptratio+rad, data=BostonHousing,na.action=na.omit)

二、用均值/中位数/众数填补

其优点在于不会减少样本信息，处理简单；其缺点在于当缺失数据不是随机出现时会产成偏误。若某自变量对因变量的影响比较小，那么这种粗略的估计是可以接受的，且有可能会产生令人满意的结果。

使用mlbench包中的BostonHousing数据集作为演示数据。由于BostonHousing数据集没有缺失值，为了演示需要，在数据集中随机插入缺失值。通过这种方法，不仅可以评估由数据缺失带来的精度损失，也可以比较不同处理方式的效果好坏。

#初始化数据集

library(mlbench)

data("BostonHousing",package="mlbench")

treated<-BostonHous