ML—高斯判别分析

华电北风吹
天津大学认知计算与应用重点实验室
日期：2015/12/11

高斯判别分析属于生成模型，模型最终学习一个特征-类别的联合概率。

0 多维正态分布
确定一个多维正态分布只需要知道分布的均值向量$\mu\in R^{n\times 1}$和一个协方差矩阵$\Sigma\in R^{n\times n}$.
其概率密度函数如下：
$p(x;\mu,\Sigma)=\frac{1}{(2\pi)^{n/2}| \Sigma|^{1/2}}exp(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)) \tag{0}$

一、高斯判别分析
适用范围：输入特征是连续
模型表述：
$y\sim Bernoulli(\phi) \tag{1-1}$
$x|y=0\sim N (\mu_0,\Sigma) \tag{}$
$x|y=1\sim N(\mu_1,\Sigma) \tag{}$
结合公式0可以将公式1-1写为：
$p(y)=\phi^y(1-\phi)^{1-y} \tag{1-2}$
$p(x|y=0)=\frac{1}{(2\pi)^{n/2}| \Sigma|^{1/2}}exp(-\frac{1}{2}(x-\mu_0)^T\Sigma^{-1}(x-\mu_0)) \tag{}$
$p(x|y=1)=\frac{1}{(2\pi)^{n/2}| \Sigma|^{1/2}}exp(-\frac{1}{2}(x-\mu_1)^T\Sigma^{-1}(x-\mu_1)) \tag{}$
可以看到对于二分类高斯判别分析，模型的参数是$\phi,\mu_0,\mu_1,\Sigma$，注意到这里的两个n维正态分布公用了一个协方差矩阵。
对于m个输入样本，有
$p(x^{(i)},y^{(i)};\phi,\mu_0,\mu_1,\Sigma)=p(y^{(i)};\phi)p(x^{(i)}|y^{(i)};\mu,\Sigma)\tag{1-3}$
容易得到对数似然函数如下
$l(\phi,\mu_0,\mu_1,\Sigma)=\log\prod_{i=1}^{m}{p(x^{(i)},y^{(i)};\phi,\mu_0,\mu_1,\Sigma)} \tag{1-4}$
求解似然函数最大化得到高斯判别分析的模型参数解形式如下：
$\phi=\frac{1}{m}\sum_{i=1}^{m}{1\{{y^{(i)}}=1\}} \tag{1-5}$
$\mu_0=\frac{\sum_{i=1}^{m}{1\{{y^{(i)}}=0\}x^{(i)}}}{\sum_{i=1}^{m}{1\{{y^{(i)}}=0\}}} \tag{}$
$\mu_1=\frac{\sum_{i=1}^{m}{1\{{y^{(i)}}=1\}x^{(i)}}}{\sum_{i=1}^{m}{1\{{y^{(i)}}=1\}}} \tag{}$
$\Sigma=\frac{1}{m}\sum_{i=1}^{m}{(x^{(i)}-\mu_{y^{(i)}})(x^{(i)}-\mu_{y^{(i)}})^T} \tag{}$

二、高斯判别分析与逻辑回归
可以容易写出高斯判别分析的预测函数。由于是生成模型，模型存在两种输出$p(y=1|x；\phi,\mu_0,\mu_1,\Sigma)$和$p(y=0|x；\phi,\mu_0,\mu_1,\Sigma)$。在这里重点关注第一个。
$p(y=1|x；\phi,\mu_0,\mu_1,\Sigma)=\frac{p(y=1|x)}{p(y=1|x)+p(y=0|x)} \tag{2-1}$
经过变换，分解组合等变换操作可以得到如下形式：
$p(y=1|x；\phi,\mu_0,\mu_1,\Sigma)=\frac{1}{1+e^{-\theta^Tx}} \tag{2-2}$
注：分子分母同除以分子，消除同类项，系数转化为指数上的指数，矩阵展开相减消除等简单操作即可得到。
虽然可以得到类似的格式，但是高斯判别分析与逻辑回归仍然存在很大区别：
1、模型性质：高斯判别分析属于生成模型，逻辑回归属于判别模型
2、p(y=1|x)和p(y=0|x)在逻辑回归中和为1，在高斯判别分析中不存在这个性质。
3、模型假设：高斯判别分析假设样本特征在每个类别下分别服从于各异的高维正态分布，逻辑回归是类别标签满足伯努利分布假设下的广义线性模型。