异常检测常用方法及库2021-01-14

异常检测

1、异常检测的含义

识别与正常数据不同的数据，与预期行为差异大的数据。如信用卡欺诈，工业生产异常，网络流里的异常（网络侵入）等问题，针的是少数事件。

1.1 异常类别

-** 点异常**：指的是少数个体实例是异常的，大多数个体实例是正常的，例如正常人与病人的健康指标；

• 上下文异常：又称上下文异常，指的是在特定情境下个体实例是异常的，在其他情境下都是正常的，例如在特定时间下的温度突然上升或下降，在特定场景中的快速信用卡交易；
• 群体异常：指的是在群体集合中的个体实例出现异常的情况，而该个体实例自身可能不是异常，例如社交网络中虚假账号形成的集合作为群体异常子集，但子集中的个体节点可能与真实账号一样正常。

1.2 异常类别场景

故障检测
物联网异常检测
欺诈检测
工业异常检测
时间序列异常检测
视频异常检测
日志异常检测
医疗日常检测
网络入侵检测

2、异常检测常用方法

2.1.1基于统计学方法

统计学方法对数据的正常性做出假定。**它们假定正常的数据对象由一个统计模型产生，而不遵守该模型的数据是异常点。**统计学方法的有效性高度依赖于对给定数据所做的统计模型假定是否成立。

异常检测的统计学方法的一般思想是：学习一个拟合给定数据集的生成模型，然后