python数据异常检测_用Python中从头开始的实现完整的异常检测算法

利用概率的异常检测算法

异常检测可以作为离群分析的统计任务来对待。 但是，如果我们开发一个机器学习模型，它可以自动化，并且像往常一样可以节省大量时间。 有很多异常检测用例。 信用卡欺诈检测，故障机器检测或基于其异常功能的硬件系统检测，基于病历的疾病检测都是很好的例子。 还有更多用例。 并且异常检测的使用只会增加。

在本文中，我将解释从头开始用Python开发异常检测算法的过程。

公式和过程

与我之前解释的其他机器学习算法相比，这将简单得多。 该算法将使用均值和方差来计算每个训练数据的概率。

如果一个训练示例的概率很高，那是正常的。 如果某个训练示例的概率较低，则为异常示例。 对于不同的训练集，高概率和低概率的定义将有所不同。 稍后我们将讨论如何确定。

如果我必须解释异常检测的工作过程，那非常简单。

(1) 使用以下公式计算平均值：

这里m是数据集的长度或训练数据的数量，xi是一个训练示例。 如果您拥有多个训练功能，那么大多数时候您将需要为每个功能计算平均值。

(2) 使用以下公式计算方差：

此处，mu是从上一步计算得出的平均值。

(3) 现在，使用此概率公式计算每个训练示例的概率。

不要为这个公式中的加号感到困惑! 这实际上是对角线形状的变化。

稍后我们将实现算法时，您将看到它的外观。

(4) 我们现在需要找到概率的阈值。 正如我之前提到的，如果训练示例的概率较低，那么这就是一个异常示例。

低概率是多少概率?

没有通用的限制。 我们需要为我们的训练数据集找到答案。

我们从步骤3中获得的输出中获取一系列概率值。对于每种概率，如果数据是异常或正常的，请找到标签。

然后计算一系列概率的精度，召回率和f1分数。

可以使用以下公式计算精度

召回率可以通过以下公式计算：

在此，"正肯定"是指算法将示例检测为异常并且实际上是异常的情况下的数量。

当算法将示例检测为异常时会出现误报，但事实并非如此。

False Negative表示算法检测到的示例不是异常示例，但实际上，这是一个异常示例。

从上面的公式中，您可以看到更高的精度和更高的召回率总会很好，因为这意味着我们拥有更多的积极优势。 但是同时，如您在公式中所看到的，误报和误报也起着至关重要的作用。 那里需要保持平衡。 根据您所在的行业，您需要确定哪个是您可以容忍的。

一个好的方法是取平均值。 有一个求平均值的独特公式。 这就是f1分数。 f1得分的公式是：

这里，P和R分别是精度和召回率。

我不会详细说明为什么公式如此独特。 因为本文是关于异常检测的。 如果您有兴趣了解有关精度，召回率和f1得分的更多信息，请在此处查看有关该主题的详细文章：

完全了解精度，召回率和F分数概念

如何处理机器学习中偏斜的数据集

根据f1分数，您需要选择阈值概率。

1是完美的f得分，0是最差的概率得分。

异常检测算法

我将使用Andrew Ng的机器学习课程中的数据集，该数据集具有两个训练功能。 我没有使用本文的真实数据集，因为该数据集非常适合学习。 它只有两个功能。 在任何现实世界的数据集中，不可能只有两个功能。

开始任务吧!

首先，导入必要的软件包

import pandas as pd

import numpy as np

导入数据集。 这是一个excel数据集。 此处，训练数据和交叉验证数据存储在单独的表格中。 因此，让我们带来培训数据。

df=pd.read_excel('ex8data1.xlsx',sheet_name='X',header=None)

df.head()

让我们针对第1列绘制第0列。

plt.figure()

plt.scatter(df[0], df[1])

plt.show()

通过查看此图，您可能知道哪些数据是异常的。

检查此数据集中有多少训练示例：

m=len(df)

计算每个特征的平均值。 这里我们只有两个功能：0和1。

s=np.sum(df,axis=0)

mu=s/mmu

输出：

0 14.1122261 14.997711

dtype: float64

根据上面"公式和过程"部分所述的公式，计算出方差：

vr=np.sum((df - mu)**2,axis=0)

variance=vr/mvariance

输出：

0 1.8326311 1.709745

dtype: float64

现在使其成为对角线形状。 正如我在概率公式后面的"公式和过程"部分所解释的那样，求和符号实际上是方差的对角线。

var_dia=np.diag(variance)

var_dia

输出：

array([[1.83263141, 0. ], [0. , 1.70974533]])

计算概率：

k=len(mu)

X=df- mu

p=1/((2*np.pi)**(k/2)*(np.linalg.det(var_dia)**0.5))* np.exp(-0.5* np.sum(X @ np.linalg.pinv(var_dia) * X,axis=1))

p

训练部分完成。

下一步是找出阈值概率。 如果该概率低于阈值概率，则示例数据为异常数据。 但是我们需要为我们的特殊情况找出该阈值。

在此步骤中，我们使用交叉验证数据以及标签。 在此数据集中，我们具有交叉验证数据以及单独的工作表中的标签。

对于您的情况，您只需保留原始数据的一部分以进行交叉验证。

现在导入交叉验证数据和标签：

cvx=pd.read_excel('ex8data1.xlsx',sheet_name='Xval',header=None)

cvx.head()

标签是：

cvy=pd.read_excel('ex8data1.xlsx',sheet_name='y',header=None)

cvy.head()

我将" cvy"转换为NumPy数组只是因为我喜欢使用数组。 DataFrames也很好。

y=np.array(cvy)

输出：

#Part of the array

array([[0], [0], [0], [0], [0], [0], [0], [0], [0],

在这里，" y"的值为0表示这是一个正常的例子，而y的值为1则表示这是一个异常的例子。

现在，如何选择阈值?

我不想只是从概率列表中检查所有概率。 那可能是不必要的。 让我们再检查几率值。

p.describe()

输出：

count 3.070000e+02

mean 5.905331e-02

std 2.324461e-02

min 1.181209e-2325% 4.361075e-0250% 6.510144e-0275% 7.849532e-02

max 8.986095e-02

dtype: float64

如您在图片中看到的，我们没有太多异常数据。 因此，如果我们仅从75%的值开始，那应该很好。 但是为了更加安全，我将从平均值开始。

因此，我们将从平均值到较低范围取一系列概率。 我们将检查该范围内每个概率的f1分数。

首先，定义一个函数来计算真实肯定，错误肯定和错误否定：

def tpfpfn(ep):

tp, fp, fn=0, 0, 0

for i in range(len(y)):

if p[i] <= ep and y[i][0] == 1:

tp += 1

elif p[i] <= ep and y[i][0] == 0:

fp += 1

elif p[i] >ep and y[i][0] == 1:

fn += 1

return tp, fp, fn

列出小于或等于平均概率的概率。

eps= [i for i in p if i<= p.mean()]

检查清单的长度，

len(eps)

输出：

133

根据我们之前讨论的公式，定义一个函数来计算f1分数：

def f1(ep):

tp, fp, fn=tpfpfn(ep)

prec=tp/(tp + fp)

rec=tp/(tp + fn)

f1=2*prec*rec/(prec + rec)

return f1

所有功能都准备就绪!

现在计算所有ε或我们之前选择的概率值范围的f1分数。

f= []

for i in eps:

f.append(f1(i))

f

输出：

[0.14285714285714285, 0.14035087719298248, 0.1927710843373494, 0.1568627450980392, 0.208955223880597, 0.41379310344827586, 0.15517241379310345, 0.28571428571428575, 0.19444444444444445, 0.5217391304347826, 0.19718309859154928, 0.19753086419753085, 0.29268292682926833, 0.14545454545454545,

这是f得分列表的一部分。 长度应为133。

f分数通常介于0和1之间，其中1是完美的f分数。 f1分数越高越好。 因此，我们需要从刚刚计算出的" f"分数列表中获得最高的f分数。

现在，使用" argmax"函数确定最大f得分值的索引。

np.array(f).argmax()

输出：

131

现在使用该索引来获取阈值概率。

e=eps[131]

e

输出：

6.107184445968581e-05

找出异常的例子

我们有阈值概率。 我们可以从中找出训练数据的标签。

如果概率值小于或等于该阈值，则数据为异常，否则为正常。 我们将正常数据和异常数据分别表示为0和1，

label= []

for i in range(len(df)):

if p[i] <= e:

label.append(1)

else:

label.append(0)

label

输出：

[0, 0, 0, 0, 0, 0, 0, 0, 0, 0,

这是标签列表的一部分。

我将在上面的训练数据集中添加此计算出的标签：

df['label'] = np.array(label)

df.head()

我绘制了红色标签为1以及黑色标签为零的数据。 这是情节。

是否有意义?

是吗? 红色的数据显然是异常的。

结论

我试图逐步解释开发异常检测算法的过程。 我没有在这里隐藏任何步骤。 我希望这是可以理解的。 如果您仅通过阅读就难以理解，建议您在笔记本中自己运行每段代码。 这将使其非常清楚。

【责任编辑：赵宁宁 TEL：（010）68476606】

点赞 0