Classification: Probabilistic Generative Model

链接：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/Classification%20(v3).pdf

对于分类问题，以二分类为例，当g(x)>0的时候，输出为class1；否则，输出为class2。分类的好坏准则，我们用loss function去判断，最后我们把分类的结果和真实分类结果不相等的求和即可。在众多的function set中，我们需要如何去选择呢？一般的选择方法有感知机，支持向量机等。但是我们这里主要讨论概率生成模型。

对于二分类的问题，我们可以直接从数据中进行统计，从而估计各自的先验概率和概率。但是对于对于一类问题里面有多个属性，我们需要用高斯模型去估计在该类别下未知样本出现的概率是多少。

高斯模型的参数估计，可以用最大后验概率去估计，不过这里是直接算均值，方差直接求协方差。但是对于混合高斯模型，我们还是需要用EM算法去估计参数。

求得后验概率的各类别出现这个样本的概率之后，我们可以用贝叶斯公式计算其结果，最后再比赛哪种类别的概率最大即可。但是这里有一个问题，各自类别的方差代入各自的高斯模型，效果不是特别好，所以我们对方差进行统一化，求各自类别方差的均值。这里，各自类别的均值还是本身。

最后，我们总结一下概率生成模型的三部曲：

我们还可以对贝叶斯公式进行变形，得到类似于sigmoid的形式。