统计概率模型-高斯判别分析

统计概率模型

1、高斯判别分析

2、朴素贝叶斯

3、隐马尔可夫模型

4、最大熵马尔科夫模型

5，条件随机场

6，马尔科夫决策过程

一、高斯判别分析

一、生成模型

​ 机器学习模型有一种分类方式：判别模型和生成模型。它们之前的区别在于判别模型是直接从数据特征到标签，而生成模型是从标签到数据特征。形式化的表示就是是否使用了贝叶斯公式：

$$\max P(Y|X)=\frac{P(X|Y)P(Y)}{P(X)}\\ \rightarrow \max P(X|Y)P(Y)$$
机器学习模型从概率的角度来看就是最大 $P(Y|X)$的条件概率，判别模型的思想是直接最大化这个概率（Fisher线性判别，线性感知机），生成模型则是通过贝叶斯模型最大后验概率 $P(X|Y)P(Y)$，其中 $P(X|Y)$可以看作是从标签d生成数据， $P(Y)$则是标签的先验概率。

​ 基本上从标签到数据的模型都是基于对样本的统计，以下的模型都是基于数据的统计（但不全是生成模型），所以笔者将这部分归类到统计概率模型。

二、高斯判别分析

​ 高斯判别分析是一个典型的生成模型，其假设$P(X|Y)$服从一个高斯分布，$P(Y)$服从一个伯努利分布通过统计样本来确定高斯分布和伯努利分布的参数，进而通过最大后验概率来进行分类。

假设数据在标签为$Y$下，特征为$X$的条件概率为$P(X|Y)$服从多元高斯分布 $X-N(\mu, \Sigma)$，其中$\mu$为均值，$\Sigma$为协方差矩阵。则有：

P(X|Y)=12πn2|Σ|12exp(−12(x−μ)T