机器学习——线性分类之高斯判别分析

高斯判别分析模型定义

高斯判别分析：Gaussian discriminant analysis。

假设存在样本$X_{N\times p}$满足如下形式:

$$X={\left(x_1{x}_2...x_N\right)}^T={\left(\begin{array}{c}{x}_1^T\\ x_2^T\\ ⋮\\ x_N^T\end{array}\right)}_{N\times p}={\left(\begin{array}{cccc}{x}_{11}& x_{12}& ...& x_{1p}\\ x_{21}& x_{22}& ...& x_{2p}\\ ⋮& ⋮& & ⋮\\ x_{N1}& x_{N2}& ...& x_{Np}\end{array}\right)}_{N\times p}$$

存在样本$Y_{N\times 1}$满足如下形式：

$$Y={\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_N\end{array}\right)}_{N\times 1}$$
上述$X$和$Y$组成 { ( x i , y i ) } i = 1 N \left\{ \left( x_i,y_i\right) \right\}_{i=1}^{N} {(xi​,yi​)}i=1N​样式样本点。
首先，高斯判别分析的作用也是用于分类。对于两类样本，其服从伯努利分布，假设$Y$满足伯努利分布，则有：

$y_i$	1	0
$P$	$\varphi$	$1-\varphi$

$$\Rightarrow \{\begin{array}{ccc}{\varphi }^y,& y_i=1& \\ (1-\varphi {)}^{1-y_i},& y_i=0& \end{array}\Rightarrow {\varphi }^y(1-\varphi {)}^{1-y_i}$$
对于每个类中的样本，假定都服从高斯分布，并有相同的协方差$\Sigma$，则有：
$$\begin{array}{c}{x}_i|y_i=1\sim N({\mu }_1,\Sigma )\\ x_i|y_i=0\sim N({\mu }_2,\Sigma )\end{array}\}\Rightarrow N({\mu }_1,\Sigma {)}^{y_i}\cdot N({\mu }_2,\Sigma {)}^{1-y_i}$$
并假设有$N_1$个$y_i=1$，$N_2$个$y_i=0$，并且有$N_1+N_2=N$。
这样，根据训练样本，估计出先验概率以及高斯分布的均值和协方差矩阵，即可通过如下贝叶斯公式求出一个新样本分别属于两类的概率，进而可实现对该样本的分类。
$$P(y|x)=\frac{P(x|y)P(y)}{P(x)}\propto P(x|y)P(y)$$
对于新来的样本$y$,我们通过计算$P(y=1|x)$和$P(y=0|x)$并比较两者大小，将$y$分类至求出概率大的一类，为此有：
y ^ = arg ⁡ max ⁡ y ∈ { 0 , 1 } P ( y ∣ x ) = arg ⁡ max ⁡ y ∈ { 0 , 1 } P ( x ∣ y ) P ( y ) = arg ⁡ max ⁡ y ∈ { 0 , 1 } P ( x , y ) \hat{y} = \underset{y\in \left \{ 0,1\right\}}{\arg\max}P(y|x) = \underset{y\in \left \{ 0,1\right\}}{\arg\max} P(x|y)P(y)=\underset{y\in \left \{ 0,1\right\}}{\arg\max} P(x,y) y^​=y∈{0,1}argmax​P(y∣x)=y∈{0,1}argmax​P(x∣y)P(y)=y∈{0,1}argmax​P(x,y)

高斯判别分析的核心工作就是估计上述未知量${\mu }_1,{\mu }_2,\Sigma ,\varphi$。现通过对数似然函数$L(\theta )$估计上述未知量,其中$\theta =({\mu }_1,{\mu }_2,\Sigma ,\varphi )$：
$$L(\theta )=\log \prod _{i=1}^{N}P(x,y)=\log \prod _{i=1}^{N}P(x|y)P(y)=\sum _{i=1}^N\log P(x|y)+\sum _{i=1}^N\log P(y)$$
代入概率，得：
$$L(\theta )=\sum _{i=1}^N\left[\log N({\mu }_1,\Sigma {)}^{y_i}+\log N({\mu }_2,\Sigma {)}^{1-y_i}+\log {\varphi }^y(1-\varphi {)}^{1-y_i}\right]$$

高斯判别分析模型求$\varphi$

求$\varphi$，因为$\varphi$只与$L(\theta )$第三项有关，我们令：
$$\Delta =\sum _{i=1}^N\log {\varphi }^y(1-\varphi {)}^{1-y_i}=\sum _{i=1}^{N}y\log \varphi +\sum _{i=1}^N(1-y_i)\log (1-\varphi )$$
对$\Delta$求导有：
$$\begin{gathered} \frac{\partial \Delta }{\partial \varphi }=\sum _{i=1}^N\frac{y}{\varphi }-\sum _{i=1}^N\frac{1-y}{1-\varphi } \\ \sum _{i=1}^N\left[y(1-\varphi )-\varphi (1-y)=0\right] \\ \sum _{i=1}^N\left[y-\varphi \right]=0 \\ \sum _{i=1}^{N}y=N\varphi \end{gathered}$$
所以有：
$$\varphi =\frac{{\sum }_{i=1}^{N}y}{N}=\frac{N_1}{N}$$

高斯判别分析模型求${\mu }_1,{\mu }_2$

前面求出：
$$L(\theta )=\sum _{i=1}^N\left[\log N({\mu }_1,\Sigma {)}^{y_i}+\log N({\mu }_2,\Sigma {)}^{1-y_i}+\log {\varphi }^y(1-\varphi {)}^{1-y_i}\right]$$
观察${\mu }_1,{\mu }_2$只与第一项和第二项有关，并且${\mu }_1$只与第一项有关，我们令
$$\begin{gathered} \Delta =\sum _{i=1}^N\log N({\mu }_1,\Sigma {)}^{y_i} \\ =\sum _{i=1}^N{y}_i\log \left\{\frac{1}{(2\pi {)}^{\frac{p}{2}}|\Sigma {|}^{\frac{1}{2}}}\exp \left[-\frac{1}{2}(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1)\right]\right\} \\ =\sum _{i=1}^N{y}_i\log \left\{\frac{1}{(2\pi {)}^{\frac{p}{2}}|\Sigma {|}^{\frac{1}{2}}}\right\}-\frac{1}{2}\sum _{i=1}^N{y}_i(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1) \end{gathered}$$
$\Delta$对${\mu }_1$求导有：
$$\begin{gathered} \frac{\partial \Delta }{\partial {\mu }_1}=\frac{\partial [-\frac{1}{2}{\sum }_{i=1}^N{y}_i(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1)]}{\partial {\mu }_1} \\ =-\frac{1}{2}\sum _{i=1}^N{y}_i(x_i-{\mu }_1){\Sigma }^{-1}=0 \end{gathered}$$
那么：
$$\begin{gathered} \sum _{i=1}^N{y}_i(x_i-{\mu }_1)=0 \\ \sum _{i=1}^N{y}_i{x}_i=\sum _{i=1}^N{y}_i{\mu }_1=N_1{\mu }_1 \end{gathered}$$
所以有：
$$\widehat{{\mu }_1}=\frac{1}{N_1}\sum _{i=1}^N{y}_i{x}_i$$
同理，对于$\widehat{{\mu }_2}$：
$$\widehat{{\mu }_2}=\frac{1}{N_2}\sum _{i=1}^N(1-y_i)x_i$$

高斯判别分析模型求$\Sigma$

前面求出：
$$L(\theta )=\sum _{i=1}^N\left[\log N({\mu }_1,\Sigma {)}^{y_i}+\log N({\mu }_2,\Sigma {)}^{1-y_i}+\log {\varphi }^y(1-\varphi {)}^{1-y_i}\right]$$
此时令：
$$\Delta =\sum _{i=1}^N\left[y_i\log N({\mu }_1,\Sigma )+(1-y_i)\log N({\mu }_2,\Sigma )\right]$$
为方便求导计算，现对$\Delta$做如下转换：
$$\Delta ={\Delta }_1+{\Delta }_2=\sum _{x_i\in c_1}\log N({\mu }_1,\Sigma )+\sum _{x_i\in c_2}\log N({\mu }_2,\Sigma )$$
化简${\Delta }_1$：
$$\begin{gathered} {\Delta }_1=\sum _{i=1}^{N_1}\log \left\{\frac{1}{(2\pi {)}^{\frac{p}{2}}|\Sigma {|}^{\frac{1}{2}}}\exp \left[-\frac{1}{2}(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1)\right]\right\} \\ =\sum _{i=1}^{N_1}\log \frac{1}{(2\pi {)}^{\frac{p}{2}}|\Sigma {|}^{\frac{1}{2}}}-\frac{1}{2}\sum _{i=1}^{N_1}(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1) \end{gathered}$$
为方便计算，现引入如下定义：
$$\begin{gathered} \frac{\partial tr(AB)}{\partial A}=B^T \\ \frac{\partial |A|}{\partial A}=|A|A^{-1} \\ tr(AB)=tr(BA) \\ tr(ABC)=tr(CAB)=tr(BCA) \end{gathered}$$
因为$(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1)$为一维实数，将其转换为$tr[(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1)]$对其值无任何影响，根据迹的性质，所以${\Delta }_1$有：
$$\begin{gathered} {\Delta }_1=\sum _{i=1}^{N_1}\log \frac{1}{(2\pi {)}^{\frac{p}{2}}|\Sigma {|}^{\frac{1}{2}}}-\frac{1}{2}\sum _{i=1}^{N_1}tr[(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1)] \\ =\sum _{i=1}^{N_1}\log \frac{1}{(2\pi {)}^{\frac{p}{2}}|\Sigma {|}^{\frac{1}{2}}}-\frac{1}{2}\sum _{i=1}^{N_1}tr[(x_i-{\mu }_1)(x_i-{\mu }_1{)}^T{\Sigma }^{-1}] \end{gathered}$$
因为样本方差$S_1=\frac{1}{N_1}{\sum }_{i=1}^{N_1}(x_i-{\mu }_1)(x_i-{\mu }_1{)}^T$，所以上式有：
$$\begin{gathered} {\Delta }_1=\sum _{i=1}^{N_1}\log (2\pi {)}^{-\frac{p}{2}}-\frac{1}{2}\sum _{i=1}^{N_1}\log |\Sigma |-\frac{1}{2}{N}_{1}tr\left[\frac{1}{N_1}\sum _{i=1}^{N_1}(x_i-{\mu }_1)(x_i-{\mu }_1{)}^T{\Sigma }^{-1}\right] \\ =C-\frac{1}{2}{N}_1\log |\Sigma |-\frac{1}{2}{N}_{1}tr(S_1{\Sigma }^{-1}) \end{gathered}$$
所以：
$$\begin{gathered} \Delta ={\Delta }_1+{\Delta }_2 \\ =-\frac{1}{2}{N}_1\log |\Sigma |-\frac{1}{2}{N}_{1}tr(S_1{\Sigma }^{-1})-\frac{1}{2}{N}_2\log |\Sigma |-\frac{1}{2}{N}_{2}tr(S_2{\Sigma }^{-1}) \\ =-\frac{1}{2}\left[N\log |\Sigma |+N_{1}tr(S_1{\Sigma }^{-1})+N_{2}tr(S_2{\Sigma }^{-1})\right] \end{gathered}$$
现将$\Delta$对$\Sigma$求导，有(利用上文给出的行列式和迹求导的公式)：
$$\begin{gathered} \frac{\partial \Delta }{\partial \Sigma }=-\frac{1}{2}\left(N\frac{1}{|\Sigma |}|\Sigma |{\Sigma }^{-1}-N_1{S}_1{\Sigma }^{-2}-N_2{S}_2{\Sigma }^{-2}\right) \\ =-\frac{1}{2}\left[N\Sigma -(N_1{S}_1+N_2{S}_2)\right]=0 \end{gathered}$$
所以有:
$$\hat{\Sigma }=\frac{1}{N}(N_1{S}_1+N_2{S}_2)$$
求解完毕。

后记

至此，$\theta =({\mu }_1,{\mu }_2,\Sigma ,\varphi )$均求解完毕！
日后补充

参考资料

1、机器学习白板推导
2、斯坦福机器学习实现与分析之五