异常检测（四）之基于相似度的方法

相似度两个维度：距离和密度
异常值和噪声：
噪声往往是没有规律的，特性较弱，没有分析的必要性。
异常值通常具有更高的离群程度，同时解释性更强。
因此在处理噪声时，区别出异常值与噪声、正常值的区别在异常检测中比较重要。

1. 基于距离的异常值处理办法
   基于最近邻距离来定义异常值
   适应范围：多维数据，单维数据
   前提：异常点的 $k$ 近邻距离要远大于正常点
   方法：遍历或者一些改进的方法增加距离计算的速度
   2.基于密度的异常值处理办法
   基于距离的计算值，定义k-距离、k领域、可达距离以及局部可达密度，最后得到局部异常因子，通过此因子来判断是否是异常值
   k-距离：
   在一个数据集中，以其中某一个对象为中心，对其余所有点到该对象的距离排序，距离该对象第k近的点与该对象的距离则为k-距离。
   满足：

在集合D中至少有k个点 o’，其中$o^{\prime }\in Dp$，满足$d(p,o^{\prime })\le d(p,o)$
在集合D中最多有k-1个点o’，其中$o^{\prime }\in Dp$，满足$d(p,o;)<d(p,o)$

k领域：
上述k-距离中，到该对象的距离小于等于k-距离的所有点的集合即为k-领域
N k − d i s t a n c e ( p ) ( P ) = q ∈ D \ p ∣ d ( p , q ) ≤ k