监督学习 VS 异常检测算法(含有多元高斯、协方差的概念)

数据集均为带有标签的数据集(y=1为异常数据，为正样本；y=0为正常的数据，为负样本)

1.本例参考Andrew  Ng的ML课件  

(1)异常检测算的注意事项：

    对于训练集里面都是负样本(也就是正常的样本)，去用它来获得正态分布，对于验证集和测试集里面可以加入正样本，比如下面的分配比例：

    对于算法的评估：

        其中的是一个超参数，也就是出现什么的概率的一个阈值

 2.通常会将这个分布进行各种变换，调整为高斯分布

        比如使用取<1的某个数的次幂，或者取log等。

3.对于误差数据的分析

    可以利用之前的特征变量，进行某种组合的变换，得到新的特征，再去进行操作

4.使用多元高斯

    因为如果对于每个特征都是单独来进行考虑的话，均建立一个高斯模型，再去判断，它形成的高斯在水平面的投影很可能是一个圆形，但是有一些却必须需要椭圆形来表示他们之间的关系，所以需要建立多元高斯模型(这里就用到了协方差的东西)

这里的是协方差矩阵的意思，PCA主成分分析里面也用到了协方差矩阵的知识

5.单个高斯模型 VS 多元高斯模型

    一般情况下，使用最多的是单个的高斯模型。但是在捕获变量之间的联系的时候，还是使用多元高斯模型比较占优势

    如果协方差矩阵是奇异矩阵(不可逆)的话，有2种可能：m<n，或者特征之间具有线性关系(冗余特征)