R手册(Tidy+Transform)--缺失处理(naniar and simputation)

缺失值是指粗糙数据中由于缺少信息而造成的数据的聚类、分组、删失或截断。它指的是现有数据集中某个或某些属性的值是不完全的。

缺失值从缺失的分布来讲可以分为完全随机缺失，随机缺失和完全非随机缺失。

• 完全随机缺失（missing completely at random，MCAR）
  指的是数据的缺失是随机的，数据的缺失不依赖于任何不完全变量或完全变量。

• 随机缺失(missing at random，MAR)
  指的是数据的缺失不是完全随机的，即该类数据的缺失依赖于其他完全变量。

• 完全非随机缺失(missing not at random，MNAR)
  指的是数据的缺失依赖于不完全变量自身。

naniar

缺失数据摘要

函数	说明
vis_miss(x)	缺失数据可视化摘要
miss_var_summary(data)	缺失数据数值摘要 data %>%group_by(factor) %>%miss_var_summary()
n_miss(x) , n_complete(x)	缺失行/完整行数量
prop_miss(x) , prop_complete(x)	缺失行/完整行比例
geom_miss_point()	ggplot2散点图扩展
gg_miss_var(x,show_pct = FALSE)	绘制每个变量的缺失情况

阴影矩阵

函数	说明
as_shadow(data)	shadow matrices (NA+!NA)
bind_shadow()	将阴影矩阵绑定到原始数据框

data %>%bind_shadow() %>%
ggplot(aes(x = v1, fill = v2_NA)) + geom_density(alpha = 0.5)

可视化缺失值变量分布关系

可视化估算值分布:
data %>%bind_shadow() %>%
  simputation::impute_lm(Ozone ~ Temp + Solar.R) %>%
  ggplot(aes(x = Solar.R,y = Ozone,colour = Ozone_NA)) + 
  geom_point() 

---

simputation : make imputation simpler for missing data

• 中位数插补：impute_median(dat, formula)
  formula: <imputed variables> ~ <model object>

• 模型插补，函数调用约定如下：
  impute_<model>(data, formula, … )

function	model	package
impute_rlm	M-estimation	MASS
impute_en	ridge/elasticnet/lasso	glmnet
impute_cart	CART	rpart
impute_rf	random forest	randomForest
impute_rhd	random hot deck	VIM (optional)
impute_shd	sequential hot deck	VIM (optional)
impute_knn	k nearest neighbours	VIM (optional)
impute_mf	missForest	missForest
impute_em	mv-normal	norm

for example

data %>% 
  impute_lm(v1 ~ v2 + v3) %>%impute_median(v1 ~ v4)%>%  #链接插补
  impute_rlm(data, v1 + v2 ~ v3 +v4)  #多变量插补

data %>% group_by(factor) %>% impute_lm(v1 ~ v2+v3) #分组插补