离群点检测

原创 2018年04月16日 18:31:27

注意:数据挖掘中叫离群点而不是离散点,注意说法。一般要求不严格的话,就不用太过纠结了。

1.统计学方法(基于正态分布的离群点检测):

正态分布:1

12πσexp{(xμ)22σ2}

比如某个特征的数据满足正态分布

我们用样本(也就是极大似然估计得方法)求出 μ,σ


μ=1nΣni=1xi


σ2=1nΣni=1(xix¯)2


正态分布下,区域μ±3σ包含99.7%的数据,因此,可以大致认为这个范围之外的点就是离群点。

2.数据挖掘中,有箱图,IQR=Q3-Q1(四分位极差),Q3+1.5IQR或者Q1-1.5IQR之外的点可以认为是离群的。

还有其他一些检测方法,这篇博主的博客介绍的较为详细:

链接:点击打开链接

μ,σ

离群点检验方法

离群点离群点(outlier)是一个数据对象,它显著不同于其他数据对象,好像它是被不同的机制产生一样。离群点检验就是找出其行为很不同于预期对象的过程。应用:信用卡欺诈离群点类型离群点类型: 全局离群点...
  • littlely_ll
  • littlely_ll
  • 2017年03月30日 14:24
  • 6688

数据挖掘-离群点检测

离群点检测         离群点检测是数据挖掘中重要的一部分,它的任务是发现与大部分其他对象显著不同的对象。大部分数据挖掘方法都将这种差异信息视为噪声而丢弃,然而在一些应用中,罕见的数据可能蕴含着...
  • u013153546
  • u013153546
  • 2016年05月01日 21:22
  • 3719

【数据挖掘笔记十二】离群点检测

 12.离群点检测离群点检测或异常检测,是找出其行为很不同于预期对象的过程。这种对象称为离群点或异常。离群点检测和聚类分析是两项高度相关的任务。聚类发现数据集中的多数模式并据此组织数据,而离群点检测则...
  • fjssharpsword
  • fjssharpsword
  • 2018年02月08日 17:29
  • 209

数据挖掘之离群点检测

5 异常检测方法 异常对象被称作离群点。异常检测也称偏差检测和例外挖掘。 常见的异常成因:数据来源于不同的类(异常对象来自于一个与大多数数据对象源(类)不同的源(类)的思想),自然变异,以...
  • wenyusuran
  • wenyusuran
  • 2015年04月15日 16:40
  • 947

离群点(孤立点、异常值)检测方法

本文介绍了离群点(孤立点)检测的常见方法,以及应用各种算法时需要注意的问题。离群点是什么?异常对象被称作离群点。异常检测也称偏差检测和例外挖掘。孤立点是一个明显偏离与其他数据点的对象,它就像是由一个完...
  • qq_34531825
  • qq_34531825
  • 2017年06月01日 09:49
  • 2961

离群点检测Outlier Detection

http://www.dataivy.cn/blog/%E7%A6%BB%E7%BE%A4%E7%82%B9%E6%A3%80%E6%B5%8Boutlier-detection/ 在《...
  • scdxmoe
  • scdxmoe
  • 2016年12月19日 15:53
  • 4829

基于聚类的离群点检测

在利用R软件进行数据挖掘时,离群点检测经常是必不可少的一部分。离群点检测的任务是发现与大部分其它对象显著不同的对象。大部分数据挖掘方法都将这种差异信息视为噪声丢弃,然而在部分情况下,罕见的数据可能蕴含...
  • qq_26591517
  • qq_26591517
  • 2016年02月17日 00:22
  • 5271

局部离群点检测——LOF算法的Python实现

局部离群点LOF算法(Local Outlier Factor)是一种常用的离群点检测算法,在数据处理、危险侦测等方面都有广泛的使用,这篇博文将介绍如何使用Python语言,简单地使用LOF算法对离群...
  • qq_34792581
  • qq_34792581
  • 2018年03月01日 19:51
  • 245

数据挖掘(五)离群点检测

5 异常检测方法 异常对象被称作离群点。异常检测也称偏差检测和例外挖掘。 常见的异常成因:数据来源于不同的类(异常对象来自于一个与大多数数据对象源(类)不同的源(类)的思想),自然变异,以及数据测...
  • u012950655
  • u012950655
  • 2013年11月25日 16:08
  • 1155

数据挖掘 第十二章离群点检测

离群点检测是找出其行为不同于预期对象的过程
  • zhouli1
  • zhouli1
  • 2014年04月14日 10:54
  • 778
收藏助手
不良信息举报
您举报文章:离群点检测
举报原因:
原因补充:

(最多只允许输入30个字)