离群点检测与序列数据异常检测以及异常检测大杀器-iForest

1. 异常检测简介

    异常检测，它的任务是发现与大部分其他对象不同的对象，我们称为异常对象。异常检测算法已经广泛应用于电信、互联网和信用卡的诈骗检测、贷款审批、电子商务、网络入侵和天气预报等领域。这些异常对象的主要成因有：来源于不同的模式、自然变异、数据测量以及随机误差等。而常见的异常检测算法都是针对独立的数据点进行异常检测，此时异常检测又称为离群点检测。而在序列数据的异常检测过程中，我们既可以直接使用对序列进行异常检测的算法，也可以先对序列数据进行特征提取然后转化为传统的离群点检测。

2. 基本的离群点检测算法

离群点检测方法	方法描述	方法特点
基于统计	大部分的基于统计的离群点检测方法是构建一个概率分布模型，并计算对象符合该模型的概率，把具有低概率的对象视为离群点	基于统计模型的离群点检测方法的前提是必须知道数据集服从什么分布；而对于高维的数据，可能每一维度服从的分布都不太一致，所以通常对高维数据来讲通常效果较差。
基于邻近度	通常可以在数据对象之间定义邻近性度量，把远离大部分点的对象视为离群点。	算法假定离群点是离散的，低维数据我们可以作图观察，而高维数据我们无法观察，所以难以确定有效的参数和全局阈值，效果较差。
基于密度	考虑到数据集可能存在不同密度区域这一事实，从基于密度的观点分析，离群点是在低密度区域中的对象。	算法假定离群点存在密度较低的区域，具有全局的阈值，对参数选择敏感。
基于聚类	一种利用聚类检测离群点的方法是直接丢弃远离其他簇的小簇；另一种是对数据点属于簇的程度进行评价，去除得分较低的点。	聚类算法产生的簇的质量对该算法产生的离群点的质量影响非常大，对数据的可分类性要求较高

3. 序列数据的异常检测算法

3.1 序列数据的异常分类

<