初识异常检测

初识异常检测

一、异常检测的基本概念

异常检测（Outlier Detection），顾名思义，是识别与正常数据不同的数据，与预期行为差异大的数据。

1. 异常检测任务分类

• 有监督：训练集的正例和反例均有标签
• 无监督：训练集无标签
• 半监督：在训练集中只有正例，异常实例不参与训练（新颖性检测）

2、异常的类别

• 点异常（point anomalies）指的是少数个体实例是异常的，大多数个体实例是正常的，例如正常人与病人的健康指标；

• 条件异常（conditional anomalies），又称上下文异常，指的是在特定情境下个体实例是异常的，在其他情境下都是正常的，例如在特定时间下的温度突然上升或下降，在特定场景中的快速信用卡交易；

• 群体异常（group anomalies）指的是在群体集合中的个体实例出现异常的情况，而该个体实例自身可能不是异常，在入侵或欺诈检测等应用中，离群点对应于多个数据点的序列，而不是单个数据点。例如社交网络中虚假账号形成的集合作为群体异常子集，但子集中的个体节点可能与真实账号一样正常。

二、异常检测的基本方法

1、基础方法

• 基于统计学的方法
• 线性模型
• 基于邻近度的方法

2、集成方法

• 孤立森林

3、机器学习

参考链接

• https://gitee.com/datawhalechina/team-learning-data-mining/blob/master/AnomalyDetection/%E4%B8%80%E3%80%81%E6%A6%82%E8%BF%B0.md)