注意:数据挖掘中叫离群点而不是离散点,注意说法。一般要求不严格的话,就不用太过纠结了。
1.统计学方法(基于正态分布的离群点检测):
正态分布:1
12π√σexp{−(x−μ)22σ2}
比如某个特征的数据满足正态分布
我们用样本(也就是极大似然估计得方法)求出 μ,σ
μ=1nΣni=1xi
σ2=1nΣni=1(xi−x¯)2
正态分布下,区域μ±3σ包含99.7%的数据,因此,可以大致认为这个范围之外的点就是离群点。
2.数据挖掘中,有箱图,IQR=Q3-Q1(四分位极差),Q3+1.5IQR或者Q1-1.5IQR之外的点可以认为是离群的。
还有其他一些检测方法,这篇博主的博客介绍的较为详细:
链接:点击打开链接
μ,σ