一、定义
在数据挖掘中,异常检测(英语:anomaly detection)对不匹配预期模式或数据集中其他项目的项目、事件或观测值的识别。通常异常项目会转变成银行欺诈、结构缺陷、医疗问题、文本错误等类型的问题。异常也被称为离群值、新奇、噪声、偏差和例外。
二、异常类别
- 点异常
- 上下文异常
- 群体异常
三、常见业务场景
业务监控告警(检测异常对任何业务来说都很重要),譬如日新增/活跃/留存用户量的异常监控告警。
四、常用方法
- 基于统计学
- 机器学习
一般情况下,可以把异常检测看成是数据不平衡下的分类问题。因此,如果数据条件允许,优先使用有监督的异常检测。但在现实情况中,异常检测问题往往是没有标签的,训练数据中并未标出哪些是异常点,所以必须使用无监督学习。
五、常用开源库
- Scikit-learn:一个Python语言的开源机器学习库。它具有各种分类,回归和聚类算法。也包含了一些异常检测算法,例如LOF和孤立森林。官网:https://scikit-learn.org/stable/
- PyOD:是当下最流行的Python异常检测工具库。介绍:https://zhuanlan.zhihu.com/p/58313521