异常检测介绍

本文为Datawhale学习笔记~

概述

什么是异常检测

异常检测（Outlier Detection），顾名思义，是识别与正常数据不同的数据，与预期⾏为差异⼤的数 据。
识别如信⽤卡欺诈，⼯业⽣产异常，⽹络流⾥的异常（⽹络侵⼊）等问题，针对的是少数的事件。

异常检测的类别

点异常：指的是少数个体实例是异常的，⼤多数个体实例是正常的，例如正常⼈与病⼈的健康指标；
上下⽂异常：⼜称上下⽂异常，指的是在特定情境下个体实例是异常的，在其他情境下都是正常的，例 如在特定时间下的温度突然上升或下降，在特定场景中的快速信⽤卡交易；
群体异常：指的是在群体集合中的个体实例出现异常的情况，而该个体实例⾃⾝可能不是异常，例如社 交⽹络中虚假账号形成的集合作为群体异常⼦集，但⼦集中的个体节点可能与真实账号⼀样正常。

异常检测任务分类

有监督：训练集的正例和反例均有标签
⽆监督：训练集⽆标签
半监督：在训练集中只有单⼀类别（正常实例）的实例，没有异常实例参与训练

异常检测场景

• 故障检测
• 物联⽹异常检测
• 欺诈检测
• ⼯业异常检测
• 时间序列异常检测
• 视频异常检测
• ⽇志异常检测
• 医疗⽇常检测
• ⽹络⼊侵检测

异常检测常用方法

传统方法

基于统计学的方法

统计学⽅法对数据的正常性做出假定。它们假定正常的数据对象由⼀个统计模型产⽣，而不遵守该模型 的数据是异常点。统计学⽅法的有效性⾼度依赖于对给定数据所做的统计模型假定是否成⽴。
异常检测的统计学⽅法的⼀般思想是：学习⼀个拟合给定数据集的⽣成模型，然后识别该模型低概率区 域中的对象，把它们作为异常点。
即利⽤统计学⽅法建⽴⼀个模型，然后考虑对象有多⼤可能符合该模型。

线性模型

典型的如PCA⽅法，Principle Component Analysis是主成分分析，简称PCA。它的应⽤场景是对数据集 进⾏降维。降维后的数据能够最⼤程度地保留原始数据的特征（以数据协⽅差为衡量标准）。
PCA的原理是通过构造⼀个新的特征空间，把原数据映射到这个新的低维空间⾥。PCA可以提⾼数据的 计算性能，并且缓解"⾼维灾难"。

基于相似度的方法

这类算法适⽤于数据点的聚集程度⾼、离群点较少的情况。同时，因为相似度算法通常需要对每⼀ 个数据分别进⾏相应计算，所以这类算法通常计算量⼤，不太适⽤于数据量⼤、维度⾼的数据。
基于相似度的检测⽅法⼤致可以分为三类：

• 基于集群（簇）的检测，如DBSCAN等聚类算法。
  聚类算法是将数据点划分为⼀个个相对密集的“簇”，而那些不能被归为某个簇的点，则被视作 离群点。这类算法对簇个数的选择⾼度敏感，数量选择不当可能造成较多正常值被划为离群点或成
  小簇的离群点被归为正常。因此对于每⼀个数据集需要设置特定的参数，才可以保证聚类的效果， 在数据集之间的通⽤性较差。聚类的主要⽬的通常是为了寻找成簇的数据，而将异常值和噪声⼀同 作为⽆价值的数据而忽略或丢弃，在专⻔的异常点检测中使⽤较少。
  聚类算法的优缺点：

1. 能够较好发现小簇的异常；
2. 通常⽤于簇的发现，而对异常值采取丢弃处理，对异常值的处理不够友好；
3. 产⽣的离群点集和它们的得分可能⾮常依赖所⽤的簇的个数和数据中离群点的存在性；
4. 聚类算法产⽣的簇的质量对该算法产⽣的离群点的质量影响⾮常⼤。

• 基于距离的度量，如k近邻算法。
  k近邻算法的基本思路是对每⼀个点，计算其与最近k个相邻点的距离，通过距离的⼤小来判断 它是否为离群点。在这⾥，离群距离⼤小对k的取值⾼度敏感。如果k太小（例如1），则少量的邻 近离群点可能导致较低的离群点得分；如果k太⼤，则点数少于k的簇中所有的对象可能都成了离群 点。为了使模型更加稳定，距离值的计算通常使⽤k个最近邻的平均距离。
  k近邻算法的优缺点：

1. 简单；
2. 基于邻近度的⽅法需要O(m2)时间，⼤数据集不适⽤；
3. 对参数的选择敏感；
4. 不能处理具有不同密度区域的数据集，因为它使⽤全局阈值，不能考虑这种密度的变化。

• 基于密度的度量，如LOF（局部离群因⼦）算法。 局部离群因⼦（LOF）算法与k近邻类似，不同的是它以相对于其邻居的局部密度偏差而不是 距离来进⾏度量。它将相邻点之间的距离进⼀步转化为“邻域”，从而得到邻域中点的数量（即密 度），认为密度远低于其邻居的样本为异常值。
  LOF（局部离群因⼦）算法的优缺点：

1. 给出了对离群度的定量度量；
2. 能够很好地处理不同密度区域的数据；
3. 对参数的选择敏感。

集成方法

集成是提⾼数据挖掘算法精度的常⽤⽅法。集成⽅法将多个算法或多个基检测器的输出结合起来。其基 本思想是⼀些算法在某些⼦集上表现很好，⼀些算法在其他⼦集上表现很好，然后集成起来使得输出更 加鲁棒。集成⽅法与基于⼦空间⽅法有着天然的相似性，⼦空间与不同的点集相关，而集成⽅法使⽤基 检测器来探索不同维度的⼦集，将这些基学习器集合起来。 常⽤的集成⽅法有Feature bagging，孤⽴森林等。
feature bagging ： 与bagging法类似，只是对象是feature。
孤立森林：
孤⽴森林假设我们⽤⼀个随机超平⾯来切割数据空间，切⼀次可以⽣成两个⼦空间。然后我们继续⽤随 机超平⾯来切割每个⼦空间并循环，直到每个⼦空间只有⼀个数据点为⽌。直观上来讲，那些具有⾼密 度的簇需要被切很多次才会将其分离，而那些低密度的点很快就被单独分配到⼀个⼦空间了。孤⽴森林 认为这些很快被孤⽴的点就是异常点。 ⽤四个样本做简单直观的理解，d是最早被孤⽴出来的，所以d最有可能是异常。

机器学习

在有标签的情况下，可以使⽤树模型（gbdt,xgboost等）进⾏分类，缺点是异常检测场景下数据标签是 不均衡的，但是利⽤机器学习算法的好处是可以构造不同特征。

异常检测常用开源库

Scikit-learn：
Scikit-learn是⼀个Python语⾔的开源机器学习库。它具有各种分类，回归和聚类算法。也包含了⼀些 异常检测算法，例如LOF和孤⽴森林。
官⽹：https://scikit-learn.org/stable/

PyOD：
Python Outlier Detection（PyOD）是当下最流⾏的Python异常检测⼯具库，其主要亮点包括：

• 包括近20种常⻅的异常检测算法，⽐如经典的LOF/LOCI/ABOD以及最新的深度学习如对抗⽣ 成模型（GAN）和集成异常检测（outlier ensemble）
• ⽀持不同版本的Python：包括2.7和3.5+；⽀持多种操作系统：windows，macOS和Linux
• 简单易⽤且⼀致的API，只需要⼏⾏代码就可以完成异常检测，⽅便评估⼤量算法
• 使⽤JIT和并⾏化（parallelization）进⾏优化，加速算法运⾏及扩展性（scalability），可以 处理⼤量数据
  ——https://zhuanlan.zhihu.com/p/5831352