异常检测算法--LOF

1. 主要思想

针对给定的数据集，对其中的任意一个数据点，如果在其局部邻域内的点都很密集，那么认为此数据点为正常数据点，而离群点则是距离正常数据点最近邻的点都比较远的数据点。通常有阈值进行界定距离的远近。

2. compare with 及其他算法

2.1 孤立森林

孤立森林不适用于特别高维的数据。由于每次切数据空间都是随机选取一个维度，建完树后仍然有大量的维度信息没有被使用，导致算法可靠性降低。高维空间还可能存在大量噪音维度或无关维度（irrelevant attributes），影响树的构建。

但总体来说，孤立森林的性能一般要比LOF好。

2.2 箱线图

2.3 3 Delta 原则

3.定义

LOF的全称为local outier factor，即离群因子，算法的核心就是给每个数据计算出一个离群因子LOF，如果该离群因子远大于1，则表明是离群点，接近1（等于或者小于或者大于）则说明是正常点。

3.1 第k距离

$$d_k(O)=d(O,P)$$为点O的第k距离，简言之就是点P是距离O最近的第k个点。

3.2 k距离邻域

$$N_k(O)$$为点O的第k距离邻域，该邻域就是一个集合，集合中的元素是距离O最近的k个点，注意上面的第k距离只包括一个点P，这里k距离邻域包括k个点。

3.3 可达距离

$$d_k(O,P)$$为点P到点O的第k可达距离， d k ( O , P ) = m a x { d k ( O ) , d ( O , P ) } d_{k}(O, P) = max\{d_{k}(O), d(O,P)\} dk​(O,P)=max{dk​(O),d(O,P)}

3.4 局部可达密度

局部可达密度定义为$${\rho }_k(O)=\frac{1}{{\sum }_{P\in N_k(O)}{d}_k(O,P)/k}=\frac{k}{{\sum }_{P\in N_k(O)}{d}_k(O,P)}$$

即点O的k距离邻域中所有点到O的平均可达距离

3.5局部离群因子(LOF)

$${\mathrm{LOF}}_k(O)=\frac{{\sum }_{P\in N_k(O)}\frac{{\rho }_k(P)}{{\rho }_k(O)}}{k}$$

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aXnwTcWG-1584190141070)(/Users/tinysean/Library/Application Support/typora-user-images/image-20200314190217493.png)]

4. python实现(sklearn)

核心函数

clf = LocalOutlierFactor(n_neighbors=20, algorithm='auto', contamination=0.1, n_jobs=-1)

• n_neighbors = 20：即上文提及的k，检测的邻域点个数超过样本数则使用所有的样本进行检测
• algorithm = ‘auto’：使用的求解算法，使用默认值即可
• contamination = 0.1：范围为 (0, 0.5)，表示样本中的异常点比例，默认为 0.1
• n_jobs = -1：并行任务数，设置为-1表示使用所有CPU进行工作
• p = 2：距离度量函数，默认使用欧式距离。（其他距离模型使用较少，这里不作介绍。具体参考官方文档）

clf.fit(data)
clf.kneighbors(data)
-clf._decision_function(data)

5.结果分析

具体LOF多大为异常值并没有明确的规定，但可以根据99分位数来选取

6.参考

LOF离群因子检测算法及python3实现