异常检测是异常值分析中的一项统计任务,但是如果我们开发一个机器学习模型来自动化地进行异常检测,可以节省很多时间。 异常检测有很多用例,包括信用卡欺诈检测、故障机器检测、基于异常特征的硬件系统检测、基于医疗记录的疾病检测都是很好的例子,除此之外也还有很多的用例。 在本文中,我们将使用Python从头开始实现异常检测算法。
公式和过程
与我之前解释过的其他机器学习算法相比,我们使用的异常检测算法要简单得多。该算法使用均值和方差来计算每个训练数据的概率。 如果一个训练实例的概率很高,则是正常的;如果某个训练实例的概率很低,那就可以是一个异常样本。对于不同的训练集,高概率和低概率的定义是不同的,这个我们以后再讨论。 接下来我们来看一下异常检测的工作过程。- 使用以下公式计算平均值:
- 使用以下公式计算方差:
- 现在,用这个概率公式来计算每个训练例子的概率。
- 现在我们需要找到概率的临界值。正如我前面提到的,如果一个训练例子的概率很低,那这就是一个异常样本。