十五、异常检测

1 问题背景

对于一些没有标签的样本，例如制造厂中出厂的发动机，计算中心的计算机，样本量很大，且绝大多数都是正常工作的。我们将其特征提取出来，并计算其分布函数，对于一个新的样本x_test，也提取其特征，若x_test出现的概率小于阈值ε，则认为该样本是异常的。

2 算法

3 评估异常检测算法

分为训练集、验证集、测试集

举例：

阈值ε的确定可以依靠验证集，也可以不断尝试，取可以令F₁值最小的ε。
最终在测试集上检验算法。

4 异常检测与有监督分类比较

当异常检测的样本量特别特别大（例如淘宝用户数量），那么就有足够多的正例，异常检测问题就可以转化成有监督学习的问题了。

5 特征选择的问题

可以对特征进行变换以使其满足高斯分布：

• 通过观察来选择合适的特征
• 通过特征组合、相互运算，可以得到新的特征

6 多变量高斯分布

6.1 问题引入

对于下面这个问题，横坐标是一台电脑的CPU使用量特征，纵坐标是一台电脑的内存使用量特征，显然，两者有线性相关性，如果新来一个绿色的样本点，如果按照:
P(x)=P(x₁, μ₁, σ₁)P(x₂, μ₂, σ₂)…P(x_n, μ_n, σ_n)
来算的话，那么绿色的点会被认为是非异常点[P(x)>ε]，所以我们要引入多元高斯分布

6.2 多元高斯分布

多元高斯分布的参数有Σ和μ，其中Σ是协方差矩阵，|Σ|表示Σ的行列式，μ是均值
μ的计算方法如下：

Σ的计算方法如下
则多元高斯分布的P(x)的计算公式为：

注意，我们上面所说的x1和x2存在的线性关系，实际上就蕴含在协方差矩阵中，所以也就是说多元高斯分布与相互独立的一元高斯分布之间的差异就在于，前者考虑了不同数据分布之间的关系，而后者则认为它们是无关的、独立的。
下面是二元高斯分布的参数与二元高斯分布图形之间的关系
（1）如下图，当协方差矩阵的对角线元素相等时，三维空间中的模型曲面在两个维度上展开范围也是相等的。这三个例子建立的多元高斯模型就是原来的高斯分布模型，也就是说只要多元高斯分布模型的协方差矩阵非对角线上的元素为0（即分布符合关于x轴以及y轴平行的直线对称——轴对齐），则多元高斯模型与原来的高斯分布模型是一致的。

此时Σ的对角元就是原来的一元高斯分布模型每个特征的σ²:

（2）如下图，当非对角元不为零时，表明样本的两个特征有了线性相关性，这就是我们使用多元高斯分布的意义所在。

（3）如下图，改变μ的值，分布的峰值会发生移动

6.2 多元高斯分布在异常检测中的的应用

总体步骤：

运用多元高斯分布进行异常检测和运用不同高斯分布进行特征检测的区别：