浅谈异常检测

一、定义

在数据挖掘中，异常检测（英语：anomaly detection）对不匹配预期模式或数据集中其他项目的项目、事件或观测值的识别。通常异常项目会转变成银行欺诈、结构缺陷、医疗问题、文本错误等类型的问题。异常也被称为离群值、新奇、噪声、偏差和例外。

 

二、异常类别

1. 点异常
2. 上下文异常
3. 群体异常

 

三、常见业务场景

业务监控告警（检测异常对任何业务来说都很重要），譬如日新增/活跃/留存用户量的异常监控告警。

 

四、常用方法

1. 基于统计学
2. 机器学习

一般情况下，可以把异常检测看成是数据不平衡下的分类问题。因此，如果数据条件允许，优先使用有监督的异常检测。但在现实情况中，异常检测问题往往是没有标签的，训练数据中并未标出哪些是异常点，所以必须使用无监督学习。

 

五、常用开源库

1. Scikit-learn：一个Python语言的开源机器学习库。它具有各种分类，回归和聚类算法。也包含了一些异常检测算法，例如LOF和孤立森林。官网：https://scikit-learn.org/stable/
2. PyOD：是当下最流行的Python异常检测工具库。介绍：https://zhuanlan.zhihu.com/p/58313521