异常检测是异常值分析中的一项统计任务,但是如果我们开发一个机器学习模型来自动化地进行异常检测,可以节省很多时间。
异常检测有很多用例,包括信用卡欺诈检测、故障机器检测、基于异常特征的硬件系统检测、基于医疗记录的疾病检测都是很好的例子,除此之外也还有很多的用例。
在本文中,我们将使用Python从头开始实现异常检测算法。
公式和过程
与我之前解释过的其他机器学习算法相比,我们使用的异常检测算法要简单得多。该算法使用均值和方差来计算每个训练数据的概率。
如果一个训练实例的概率很高,则是正常的;如果某个训练实例的概率很低,那就可以是一个异常样本。对于不同的训练集,高概率和低概率的定义是不同的,这个我们以后再讨论。
接下来我们来看一下异常检测的工作过程。
使用以下公式计算平均值:
这里m是数据集的长度或训练数据的数量,而 是一个单独的训练例子。如果你有多个训练特征,大多数情况下都需要计算每个特征的平均值。
使用以下公式计算方差: