【ML】异常检测（anomaly detection）原理 + 实践 （基于sklearn）

原理简介

异常检测即找出训练样本中的异常点，一般我们假设数据服从某种分布（比如高斯分布，泊松分布），这里我们以高斯分布为例。

从上图可以知道，高斯概率分布图中，三个标准差的数据比例超过99%。所以我们认为剩余的不到1%是异常数据（出现概率非常小）

实践

加载数据

数据集：https://www.kaggle.com/datasets/yuanheqiuye/anomaly-data

import numpy as np
import pandas as pd 
from matplotlib import pyplot as plt

# 加载数据
data = pd.read_csv('/kaggle/input/anomaly-data/anomaly_data.csv')
x1 = data.loc[:,'x1']
x2 = data.loc[:,'x2']

可视化数据（观察规律）

• 未处理数据观察（二维和柱状图分布），大概可以看出每个维度符合高斯分布

# 可视化
fig1 = plt.figure(figsize=(10,5))
plt.scatter(x1,x2)
plt.show()

fig2 = plt.figure(figsize=(10,5))
plt.subplot(121)
plt.hist(x1, bins=20)
plt.title('x1 distribution')
plt.xlabel('x1')
plt.ylabel('counts')
plt.subplot(122)
plt.hist(x2, bins=20)
plt.title('x2 distribution')
plt.xlabel('x2')
plt.ylabel('counts')
plt.show()

• 分别绘制两个维度对应的高斯分布曲线，可以看到数据非常集中

# 计算 mean（平均数） 和 sigma（标准差）
x1_mean = x1.mean()
x1_sigma = x1.std()
x2_mean = x2.mean()
x2_sigma = x2.std()
print(x1_mean, x1_sigma, x2_mean, x2_sigma)

from scipy.stats import norm
x1_range = np.linspace(9,11,100)
x1_norm = norm.pdf(x1_range,x1_mean,x1_sigma)
x2_range = np.linspace(9,11,100)
x2_norm = norm.pdf(x2_range,x2_mean,x2_sigma)
fig3 = plt.figure(figsize=(10,5))
plt.subplot(121)
plt.plot(x1_range, x1_norm)
plt.title('x1 normal')

plt.subplot(122)
plt.plot(x2_range, x2_norm)
plt.title('x2 normal')
plt.show()

训练模型

# 模型训练
from sklearn.covariance import EllipticEnvelope
# 默认异常值是10%
model = EllipticEnvelope()
model.fit(data)

预测和展示

# 预测
y_predict = model.predict(data)
print(y_predict)
fig4 = plt.figure()
plt.scatter(x1, x2, marker='x')
plt.scatter(x1[y_predict==-1],x2[y_predict==-1], marker='o', facecolor='none',edgecolors='r', s=100)
plt.show()

调整异常值为20%的情况

通过contamination参数可以调整异常点所占比例。

# 调整异常比例
model2 = EllipticEnvelope(contamination=0.2)
model2.fit(data)
y_predict2 = model2.predict(data)
fig5 = plt.figure()
plt.scatter(x1, x2, marker='x')
plt.scatter(x1[y_predict2==-1],x2[y_predict2==-1], marker='o', facecolor='none',edgecolors='r', s=100)
plt.show()