常用异常检测模型的应用

常用异常检测模型的应用

描述

异常数据检测不仅仅可以帮助我们提高数据质量，同时在一些实际业务中，异常数据往往包含有价值的信息，如异常交易、网络攻击、工业品缺陷等，因此异常检测也是数据挖掘的重要手段。常用的异常检测模型包括IsolationForest（孤立森林）、OneClassSVM（一类支持向量机）、LocalOutlierFactor（LOF，局部离群因子）等。

本任务的主要实验内容包括：

1、分别使用IsolationForest（孤立森林）、OneClassSVM（一类支持向量机）、LocalOutlierFactor（LOF，局部离群因子）进行异常数据检测。

2、比较上述异常检测模型用法的区别，熟悉选择原则。

源码下载

环境

• 操作系统：Windows 10、Ubuntu18.04

• 工具软件：Anaconda3 2019、Python3.7

• 硬件环境：无特殊要求

• 依赖库列表

  scikit-learn	0.24.2
  matplotlib      3.3.4
  numpy           1.19.5
  

分析

本任务涉及以下环节：

A）创建包括正常样本和异常样本的数据集、并可视化

B）使用孤立森林模型进行异常检测

C）使用OneClassSVM进行异常检测

D）使用LOF模型进行异常检测

实施

1、创建数据集，并可视化

import numpy as np
import matplotlib.pyplot as plt

rd = np.random.RandomState(99) # 设置随机状态
X_1 = 0.3 * rd.randn(100, 2) # 生成正常数据
X_2 = rd.uniform(-4, 4, size=(20, 2)) # 生成噪音数据

plt.title('Data') # 标题
plt.xlim(-5, 5) # x轴刻度
plt.ylim(-4, 3) # y轴刻度
plt.scatter(X_1[:, 0], X_1[:, 1], s=50, c='g', edgecolor='k', label='normal') # 画正常点
plt.scatter(X_2[:, 0], X_2[:, 1], s=50, c='w', edgecolor='k', label='outlier') # 画异常点
plt.legend()
plt.show()

结果如下：

说明：Normal为正常数据，Outlier为噪音点（异常点），接下来使用异常检测模型进行检测，熟悉其调用方法、参数及效果。

2、使用孤立森林（IsolationForest）进行异常检测

from sklearn.ensemble import IsolationForest

X = np.concatenate((X_1, X_2), axis=0) # 合并数据

# IsolationForest 
clf = IsolationForest(contamination=0.16) # 创建模型
y_pred = clf.fit_predict(X) # 拟合并预测

plt.title('IsolationForest') # 标题
plt.xlim(-5, 5) # x轴刻度
plt.ylim(-4, 3) # y轴刻度
plt.scatter(X[:, 0], X[:, 1], c=y_pred, s=50,  edgecolor='k') # 可视化预测结果
plt.show()

结果如下（左图）：

说明：与原数据（右图）对比发现，通过简单调参，独立森林（iForest）算法较好地检测出了原数据中的异常点。

3、使用OneClassSVM（一类支持向量机）进行异常检测

from sklearn.svm import OneClassSVM

# OneClassSVM
clf = OneClassSVM(nu=0.02).fit(X_1) # 拟合训练数据（注意：这里是X_1，不含噪音点）
y_pred = clf.predict(X) # 预测

plt.title('OneClassSVM')
plt.xlim(-5, 5) # x轴刻度
plt.ylim(-4, 3) # y轴刻度
plt.scatter(X[:, 0], X[:, 1], c=y_pred, s=50, edgecolor='k')
plt.show()

结果如下：

说明：OneClassSVM 本质上属于奇异点检测（Novelty Detection），要求训练数据中不包含噪音点，在未被污染的数据上建立模型，然后在新数据中寻找异常点。

4、使用LocalOutlierFactor（LOF）进行异常检测

from sklearn.neighbors import LocalOutlierFactor

# LocalOutlierFactor
clf = LocalOutlierFactor(contamination=0.16) # 创建模型
y_pred = clf.fit_predict(X) # 拟合数据并预测

plt.title('LocalOutlierFactor') # 标题
plt.xlim(-5, 5) # x轴刻度
plt.ylim(-4, 3) # y轴刻度
plt.scatter(X[:, 0], X[:, 1], c=y_pred, s=50, edgecolor='k') # 预测结果可视化
plt.show()

结果如下：

说明：通过调参，LocalOutlierFactor（LOF-局部离群因子）模型也较好地检测出了原数据中的异常点。

“异常值比例”是上述三种异常检测模型共同的参数，决定了正常数据和异常数据的分界线，通常需要根据具体的任务数据调参确定。模型的选择原则是：如果训练集不包含异常样本，则选择OneClassSVM；如果训练集中包括异常样本并且训练集能基本覆盖正常样本，则选择LOF，其他情况使用IsolationForest（孤立森林）。孤立森林的适用性较强，在数据情况不明时可以优先尝试。