第五课.高斯判别分析

概率生成式模型

概率判别式模型直接对条件概率$p(Y|X)$建模，比如逻辑回归，先计算$p(y=1|x)$和$p(y=0|x)$的概率值，再通过概率值判断分类结果取0还是1；
概率生成式模型关心的是$p(y=0|x)$和$p(y=1|x)$两个概率哪个更大，只是比较二者的大小，不是一味地求$p(y|x)$的具体值；引入贝叶斯公式：
$$p(y|x)=\frac{p(x|y)p(y)}{p(x)}$$
分母$p(x)$是样本的概率，一般为常数，因此有$p(y|x)$正比于$p(x|y)p(y)$，即正比于联合概率；所以有生成式模型的表达：
y = a r g m a x y ∈ { 0 , 1 } p ( y ∣ x ) = a r g m a x y ∈ { 0 , 1 } p ( x ∣ y ) p ( y ) y=argmax_{y\in\left\{0,1\right\}}p(y|x)=argmax_{y\in\left\{0,1\right\}}p(x|y)p(y) y=argmaxy∈{0,1}​p(y∣x)=argmaxy∈{0,1}​p(x∣y)p(y)

高斯判别模型原理

对$p(y)$进行研究，$y$的取值为1或0，是一个二分类问题，随机变量$y$服从伯努利分布：

$y$	$1$	$0$
$p$	$\varphi$	$1-\varphi$

即有：$p(y=1)={\varphi }^y$ 和 $p(y=0)=(1-\varphi {)}^{1-y}$；联立为一个式子：
$$p(y)={\varphi }^y(1-\varphi {)}^{1-y}$$
再对$p(x|y)$进行研究，先做出一个强假设：当确定样本类别时，样本存在的概率服从高斯分布，这也是高斯判别模型中具有"高斯"二字的原因；即有：
$$p(x|y=1)=N({\mu }_1,\Sigma ),p(x|y=0)=N({\mu }_0,\Sigma )$$
可以进一步描述模型的假设：基于不同分类的条件概率满足高斯分布，他们具有不同的均值（或者均值向量），但是其方差（或者协方差矩阵）是一致的。现在，将两个条件概率写成一个式子进行表达：
$$p(x|y)=N({\mu }_1,\Sigma {)}^{y}N({\mu }_0,\Sigma {)}^{1-y}$$

高斯判别模型的参数估计

根据$p(y)$和$p(x|y)$，针对$p(x|y)p(y)$建立似然函数，利用极大似然估计方法估计高斯判别模型的参数；模型的对数似然函数为：
$$L(\theta )=log\prod _{i=1}^N(p(x_i|y_i)p(y_i))=\sum _{i=1}^{N}log(p(x_i|y_i)p(y_i))=\sum _{i=1}^N(log[p(x_i|y_i)]+log[p(y_i)])$$
代入假设的分布为：
$$L(\theta )=\sum _{i=1}^N(log[N({\mu }_1,\Sigma {)}^{y_i}N({\mu }_0,\Sigma {)}^{1-y_i}]+log[{\varphi }^{y_i}(1-\varphi {)}^{1-y_i}])$$
待估计参数为$\theta =(\varphi ,{\mu }_1,{\mu }_0,\Sigma )$，假设$y=1$的样本数为$N_1$，$y=0$的样本数为$N_0$，则$N_0+N_1=N$；

先估计参数$\varphi$，其只与对数似然的第二项有关，因此有：
$${\varphi }_{mle}=argma{x}_{\varphi }\sum _{i=1}^{N}log[{\varphi }^{y_i}(1-\varphi {)}^{1-y_i}]=argma{x}_{\varphi }\sum _{i=1}^N(y_{i}log(\varphi )+(1-y_i)log(1-\varphi ))$$
计算偏导数，令偏导数为0，得到：
$$\frac{\partial ({\sum }_{i=1}^N(y_{i}log(\varphi )+(1-y_i)log(1-\varphi )))}{\partial \varphi }=0\Rightarrow {\varphi }_{mle}=\frac{N_1}{N}$$
估计参数${\mu }_1$，它只与对数似然的第一项有关，第一项又可分解为：
$$\sum _{i=1}^N(log[N({\mu }_1,\Sigma {)}^{y_i}N({\mu }_0,\Sigma {)}^{1-y_i}])=\sum _{i=1}^N(log[N({\mu }_1,\Sigma {)}^{y_i}]+log[N({\mu }_0,\Sigma {)}^{1-y_i}])$$
因此，只需考虑上式第一项：
$${\mu }_1=argma{x}_{{\mu }_1}\sum _{i=1}^{N}log[N({\mu }_1,\Sigma {)}^{y_i}]=argma{x}_{{\mu }_1}\sum _{i=1}^N{y}_{i}log\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}exp(-\frac{1}{2}(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1))$$
其中，$N$是一个$D$维高斯分布，去除无关项后，化简为：
$${\mu }_1=argma{x}_{{\mu }_1}\sum _{i=1}^N{y}_i(-\frac{1}{2}(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1))$$
同样，计算偏导数：
$$\frac{\partial ({\sum }_{i=1}^N{y}_i(-\frac{1}{2}(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1)))}{\partial {\mu }_1}=\frac{\partial (-\frac{1}{2}{\sum }_{i=1}^N{y}_i(x_i^T{\Sigma }^{-1}{x}_i-x_i^T{\Sigma }^{-1}{\mu }_1-{\mu }_1^T{\Sigma }^{-1}{x}_i+{\mu }_1^T{\Sigma }^{-1}{\mu }_1))}{\partial {\mu }_1}$$
其中，$x_i^T{\Sigma }^{-1}{x}_i$相对${\mu }_1$为常数，在计算偏导时为0，因此可以忽略；$x_i^T{\Sigma }^{-1}{\mu }_1$ 和 ${\mu }_1^T{\Sigma }^{-1}{x}_i$ 互为转置，而且两项都表示一个数，即二者相等；所以，上式等价于：
$$\frac{\partial (-\frac{1}{2}{\sum }_{i=1}^N{y}_i(-2{\mu }_1^T{\Sigma }^{-1}{x}_i+{\mu }_1^T{\Sigma }^{-1}{\mu }_1))}{\partial {\mu }_1}=-\frac{1}{2}\sum _{i=1}^N{y}_i(-2{\Sigma }^{-1}{x}_i+2{\Sigma }^{-1}{\mu }_1)=0$$
即有：
$$\sum _{i=1}^N{y}_i({\mu }_1-x_i)=0\Rightarrow {\mu }_1=\frac{{\sum }_{i=1}^N{y}_i{x}_i}{N_1}$$
参数${\mu }_0$的估计推导过程与之类似，最后估计协方差矩阵$\Sigma$，首先考虑各类别样本的集合：
C 1 = { x i ∣ y i = 1 , i = 1 , 2 , . . . , N 1 } , ∣ C 1 ∣ = N 1 C_{1}=\left\{x_{i}|y_{i}=1,i=1,2,...,N_{1}\right\},|C_{1}|=N_{1} C1​={xi​∣yi​=1,i=1,2,...,N1​},∣C1​∣=N1​
C 0 = { x i ∣ y i = 0 , i = 1 , 2 , . . . , N 0 } , ∣ C 1 ∣ = N 0 C_{0}=\left\{x_{i}|y_{i}=0,i=1,2,...,N_{0}\right\},|C_{1}|=N_{0} C0​={xi​∣yi​=0,i=1,2,...,N0​},∣C1​∣=N0​
因此可以化简对数似然的各项为：
$$\sum _{i=1}^{N}log[N({\mu }_1,\Sigma {)}^{y_i}]=\sum _{i=1}^N{y}_{i}log[N({\mu }_1,\Sigma )]=\sum _{x_i\in C_1}log[N({\mu }_1,\Sigma )]$$
同理有：
$$\sum _{i=1}^{N}log[N({\mu }_0,\Sigma {)}^{1-y_i}]=\sum _{x_i\in C_0}log[N({\mu }_0,\Sigma )]$$
计算关于协方差矩阵的偏导数（梯度）：
$$\frac{\partial ({\sum }_{x_i\in C_1}log[N({\mu }_1,\Sigma )]+{\sum }_{x_i\in C_0}log[N({\mu }_0,\Sigma )])}{\partial \Sigma }$$
下面对通用的形式进行化简：
$$\sum _{i=1}^{N}logN(\mu ,\Sigma )=\sum _{i=1}^{N}log\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}exp(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))$$
$$=-\sum _{i=1}^N\frac{D}{2}log(2\pi )-\sum _{i=1}^N\frac{1}{2}log|\Sigma |-\sum _{i=1}^N\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )$$

---

此处引入线性代数中的概念：迹；对于一个$n$阶方阵$A$，方阵的迹为$tr(A)$，为方阵对角线上所有元素之和，而$(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )$的结果为一个数值，数值可以看作是一个$1\times 1$的方阵，因此有：
$$(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )=tr((x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))$$
而关于方阵的迹存在特性：$tr(AB)=tr(BA)$；

---

利用方阵迹的性质，得到：
$$\sum _{i=1}^N(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu )=tr[{\Sigma }^{-1}\sum _{i=1}^N(x_i-\mu {)}^T(x_i-\mu )]$$
注意，结合方差的表达：
$$S=\frac{1}{N}\sum _{i=1}^N(x_i-\mu {)}^T(x_i-\mu )$$
因此：
$$\sum _{i=1}^N(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu )=Ntr(S{\Sigma }^{-1})$$
代入通式：
$$\sum _{i=1}^{N}logN(\mu ,\Sigma )=C-\frac{N}{2}log|\Sigma |-Ntr(S{\Sigma }^{-1})$$
将通式代入协方差矩阵的似然项：
$$\sum _{x_i\in C_1}log[N({\mu }_1,\Sigma )]+\sum _{x_i\in C_0}log[N({\mu }_0,\Sigma )]=-\frac{1}{2}Nlog|\Sigma |-\frac{1}{2}{N}_{1}tr(S_1{\Sigma }^{-1})-\frac{1}{2}{N}_{0}tr(S_0{\Sigma }^{-1})+C$$

---

以下是关于矩阵求导的常用公式：

---

对协方差矩阵的似然项求导得到：
$$\frac{\partial (Nlog|\Sigma |+N_{1}tr(S_1{\Sigma }^{-1})+N_{0}tr(S_0{\Sigma }^{-1}))}{\partial \Sigma }=N\Sigma -N_1{S}_1-N_0{S}_0=0$$
即有：
$$\Sigma =\frac{1}{N}(N_1{S}_1+N_2{S}_2)$$