java离群值,R从数据框中按组别移除离群值

离群值(outlier)通常被定义为小于 QL - l.5 IQR 或者 大于 Qu + 1.5 IQR的值，QL称为下四分位数， Qu称为上四分位数，IQR称为四分位数间距，是Qu上四分位数和QL下四分位数之差，其间包括了全部观察值的一半。

1.方法一：

定义功能剔除离群值remove_outliers 

qnt 

H 

y 

y[x <= (qnt[1] - H)] 

y[x >= (qnt[2] + H)] 

y

}

制造数据框element 

value 

df 

head(df)ggplot(df, aes(x=element, y=value,color=element)) +

geom_boxplot(outlier.colour="red", outlier.shape=7,outlier.size=1) + #指出离群值

theme_bw() +

theme(legend.position="right")+

labs(title="",x="", y = "")

[图片上传失败...(image-de44df-1545189767525)]

由图可以看出确实有很多离群值

测试下分组剔除离群值df2 %

group_by(element) %>%

mutate(value = remove_outliers(value))

head(df2)df2 

geom_boxplot(outlier.colour="red", outlier.shape=7,outlier.size=1) + #指出离群值

theme_bw() +

theme(legend.position="right")+

labs(title="",x="", y = "")

[图片上传失败...(image-33a23-1545189767526)]

由图可以看出已经移除了大部分的离群值。

2.方法二element 

value 

df 

means.without.ols 

mean(x[!(abs(x - median(x)) > 2*sd(x))])

})

df1 = df %>%

group_by(element) %>%

summarise_each(funs(mean), value)

means.without.ols

df1element 

value 

df 

means.without.ols 

mean(x[!(abs(x - median(x)) > 2*sd(x))])

})# df1 = df %>%#   group_by(element) %>%#   filter(!(abs(value - median(value)) > 2*sd(value))) %>%#   summarise_each(funs(mean), value)means.without.ols

作者：LeoinUSA

链接：https://www.jianshu.com/p/80848dfb0ec8