R语言处理缺失值不同方法对比

R语言处理缺失值方法对比

聚类方法进行缺失值插补

多重插补法就行缺失值插补

均值方法进行缺失值插补

需要用到DMwR2、DMwR、VIM包，请提前安装。本测试利用iris数据集，随机定义缺失值。然后比较各个方法的误差。

library(DMwR2)
library(DMwR)
library(VIM)
set.seed(100)
newdata<-iris
#随机定义缺失值
newdata[sample(1:nrow(newdata),20),"Sepal.Width"] <- NA
anyNA(newdata)
sum(is.na(newdata))
#缺失数据可视化
aggr(newdata,prop=F,number=T)

聚类方法

#聚类方法寻找与缺失样本相似的10个相近的样品的加权平均来填补缺失值
library(DMwR)
knnout<-knnImputation(newdata,k=10)
anyNA(knnout)
#插补效果
#取出原数据集，缺失数据对应的变量值
original<-iris
actuals <- original$Sepal.Width[is.na(newdata$Sepal.Width)]
#取出插补后变量对应的值
predicteds <- knnout$Sepal.Width[is.na(newdata$Sepal.Width)]
#实际值和插补值比较，和实际值差距越小越好，选择mape小的
regr.eval(actuals, predicteds)

regr.eval(actuals, predicteds)
mae mse rmse mape
0.2429 0.1080 0.3286 0.0767

多重插补法

#和多重差补法结果比较
library(mice)
library(randomForest)
miceout<-mice(newdata,method="rf",maxit=100,seed=1234)
#得到插补数据
miceoutput<-complete( miceout)
anyNA(miceoutput)

predicteds2 <- miceoutput$Sepal.Width[is.na(newdata$Sepal.Width)]
#实际值和插补值比较，和实际值差距越小越好，选择mape小的
regr.eval(actuals, predicteds2)

mae mse rmse mape
0.4550 0.3275 0.5722 0.1524

均值插补

#均值插补
newdata1<-newdata
sum(is.na(newdata1))
newdata1$Sepal.Width[is.na(newdata1$Sepal.Width)]<-mean(newdata1$Sepal.Width,na.rm=T)
predicted3<-newdata1$Sepal.Width[is.na(newdata$Sepal.Width)]
regr.eval(actuals, predicted3)

mae mse rmse mape
0.3265 0.1614 0.4018 0.1080

###结果分析
比较三种方法的mape(平均绝对百分误差）值，knn方法的误差最小，效果最好。