8-线性分类-高斯判别分析

1.数据集定义

定义数据样本 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } , 其 中 x i ∈ R p , y i ∈ R , 其 中 x i = 1 , 2 , . . . , N D=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\},其中x_i\in \mathbb{R}^p,y_i\in \mathbb{R},其中x_i = 1,2,...,N D={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)},其中xi​∈Rp,yi​∈R,其中xi​=1,2,...,N
$$X=(x_1,x_2,...,x_N{)}^T=\left(\begin{array}{c}{x}_1^T\\ x_2^T\\ ⋮\\ x_N^T\end{array}\right)={\left(\begin{array}{cccc}{x}_{11}& x_{12}& ...& x_{1p}\\ x_{21}& x_{22}& ...& x_{2p}\\ ⋮& ⋮& ⋮& ⋮\\ x_{N1}& x_{N2}& ...& x_{Np}\end{array}\right)}_{N\times P}\text{\hspace{1em}(1)}$$
$$Y=\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_N\end{array}\right)\text{\hspace{1em}(2)}$$
我们的数据集可以记为 { ( x i , y i ) } i = 1 N , 其 中 ， x i ∈ R p , y i ∈ { + 1 , − 1 } , \{(x_i,y_i)\}_{i=1}^{N},其中，x_i \in \mathbb{R}^p,y_i \in \{+1,-1\}, {(xi​,yi​)}i=1N​,其中，xi​∈Rp,yi​∈{+1,−1},,为了后续的方便，我们将样本分成两部分：
C 1 = { x i ∣ y i = 1 , i = 1 , 2 , ⋯   , N 1 } (3) C_1=\{x_i|y_i=1,i=1,2,\cdots,N_1\} \tag3 C1​={xi​∣yi​=1,i=1,2,⋯,N1​}(3)
C 2 = { x i ∣ y i = 1 , i = 1 , 2 , ⋯   , N 2 } (4) C_2=\{x_i|y_i=1,i=1,2,\cdots,N_2\} \tag4 C2​={xi​∣yi​=1,i=1,2,⋯,N2​}(4)
$C_1类的数据量为N_1,C_2类的数据量为N_2,且N_1+N_2=N$

2.判别模型和生成模型的区别分析

概率判别模型的目标是直接求p(y|x)的值的多少。而概率生成模型不需要求出具体的概率值大小，只需要判断p(y=0|x)和p(y=1|x)到底谁更大即可。
概 率 判 别 模 型 目 标 ： y ^ = a r g m a x   p ( y ∣ x ) y ∈ { 0 , 1 } (5) 概率判别模型目标：\hat{y} = argmax\ p(y|x)\quad y \in \{0,1\} \tag 5 概率判别模型目标：y^​=argmax p(y∣x)y∈{0,1}(5)
对于概率生成模型来说，我们可以借助贝叶斯公式进行转换，将难求的p(x|y)转换到p(y|x)p(x)上：
$$p(y|x)=\frac{p(x|y)p(y)}{p(x)}\propto p(x|y)p(y)\text{\hspace{1em}(6)}$$
由于上述公式中的概率p(x)与y的取值无关，所以它是一个无相关值，可以在比较大小的过程中忽略，
我们定义如下：
$$p(y|x)\to 后验估计(Posteriorfunction)\text{\hspace{1em}(7)}$$
$$p(y)\to 先验估计(Priorfunction)\text{\hspace{1em}(8)}$$
$$p(x|y)\to 似然函数(Likelihoodfunction)\text{\hspace{1em}(9)}$$
如上所述，高斯生成模型的目标总结如下：
y ^ = a r g m a x y ∈ { 0 , 1 } p ( y ∣ x ) ∝ a r g m a x y ∈ { 0 , 1 } p ( x ∣ y ) p ( y ) (10) \hat{y}=argmax_{y\in\{0,1\}}p(y|x)\propto argmax_{y\in\{0,1\}} p(x|y)p(y) \tag{10} y^​=argmaxy∈{0,1}​p(y∣x)∝argmaxy∈{0,1}​p(x∣y)p(y)(10)

3.高斯判别分析(Gaussian Discriminate Analysis)的模型搭建

高斯判别分析(Gaussian Discriminate Analysis)实际上是一个概率生成模型，这里很容易通过名字误导大家。

3.1 P(Y)先验概率-伯努利分布

$$p(y=1)={\phi }^y;y=1\text{\hspace{1em}(11)}$$
$$p(y=0)=(1-\phi {)}^{1-y};y=0\text{\hspace{1em}(11)}$$
合并上述两项：
$$p(y)={\phi }^y(1-\phi {)}^{1-y}\text{\hspace{1em}(11)}$$

3.2 P(X|Y)似然函数-高斯分布

我们假设似然函数中的两个变量都服从高斯正太分布，满足期望不一样，方差一致。$N_1({\mu }_1,\Sigma ),N_2({\mu }_2,\Sigma )$
$$p(x|y=0)\sim N_1({\mu }_1,\Sigma )\text{\hspace{1em}(12)}$$
$$p(x|y=1)\sim N_2({\mu }_2,\Sigma )\text{\hspace{1em}(13)}$$
合并上述两项：
$$p(x|y)={N_1({\mu }_1,\Sigma )}^y{N}_2({\mu }_2,\Sigma {)}^{1-y}\text{\hspace{1em}(14)}$$

3.3 极大似然法求p(x|y)p(y)值

$L(\theta )=\log {\prod }_{i=1}^{N}p(x_i|y_i)p(y_i)$

$={\sum }_{i=1}^N\log p(x_i|y_i)p(y_i)$

$={\sum }_{i=1}^N[\log p(x_i|y_i)+\log p(y_i)]$

$={\sum }_{i=1}^N[\log {N_1({\mu }_1,\Sigma )}^{y_i}{N}_2({\mu }_2,\Sigma {)}^{1-y_i}+\log {\phi }^{y_i}(1-\phi {)}^{1-y_i}]$

$={\sum }_{i=1}^N\log {N_1({\mu }_1,\Sigma )}^{y_i}+{\sum }_{i=1}^N{N}_2({\mu }_2,\Sigma {)}^{1-y_i}+{\sum }_{i=1}^N\log {\phi }^{y_i}(1-\phi {)}^{1-y_i}$
为方便计算，我们令：
$①={\sum }_{i=1}^N\log {N_1({\mu }_1,\Sigma )}^{y_i}$;$②={\sum }_{i=1}^N{N}_2({\mu }_2,\Sigma {)}^{1-y_i}$;$③={\sum }_{i=1}^N\log {\phi }^{y_i}(1-\phi {)}^{1-y_i}$
$$L(\theta )=①+②+③\text{\hspace{1em}(15)}$$
$$\theta =({\mu }_1,{\mu }_2,\Sigma ,\phi );\hat{\theta }=argma{x}_{\theta }L(\theta )\text{\hspace{1em}(16)}$$

4.极大似然估计法求相关参数值

4.1求偏导

由公式(15) , (16)可得，我们可用极大似然估计法求解相关参数，即L(θ)分别对各个参数求偏导后取零。
$$\frac{\partial L(\theta )}{\partial {\mu }_1}=0\text{\hspace{1em}(17)}$$
$$\frac{\partial L(\theta )}{\partial {\mu }_2}=0\text{\hspace{1em}(18)}$$
$$\frac{\partial L(\theta )}{\partial \Sigma }=0\text{\hspace{1em}(19)}$$
$$\frac{\partial L(\theta )}{\partial \phi }=0\text{\hspace{1em}(20)}$$

4.2 矩阵公式

为方便计算，需要引入如下矩阵求导公式：
$$tr(AB)=tr(BA)\text{\hspace{1em}(21)}$$
$$\frac{\partial tr(AB)}{\partial A}=B^T\text{\hspace{1em}(22)}$$
$$\frac{\partial |A|}{\partial A}=|A|A^{-1}\text{\hspace{1em}(23)}$$
$$\frac{\partial \ln |A|}{\partial A}=A^{-1}\text{\hspace{1em}(24)}$$

4.3 详细推导

4.3.1求$\phi$

$$\frac{\partial L(\theta )}{\partial \phi }=\frac{\partial ③}{\phi }=0$$
$$③=\sum _{i=1}^N\log {\phi }^{y_i}(1-\phi {)}^{1-y_i}=\sum _{i=1}^N[y_i\log \phi +(1-y_i)\log (1-\phi )]\text{\hspace{1em}(25)}$$
$$\frac{\partial ③}{\partial \phi }=\sum _{i=1}^N[\frac{y_i}{\phi }+\frac{y_i-1}{1-\phi }]=0\text{\hspace{1em}(26)}$$
$$\sum _{i=1}^N[y_i-\phi y_i+\phi y_i-\phi ]=0\text{\hspace{1em}(27)}$$
$$\sum _{i=1}^N{y}_i-\sum _{i=1}^N\phi =0\text{\hspace{1em}(28)}$$
$$\hat{\phi }=\frac{1}{N}\sum _{i=1}^N{y}_i\text{\hspace{1em}(29)}$$
由于我们定义y=0的数量为$N_1$个，y=1的数量为$N_2$个
$$结论：\hat{\phi }=\frac{N_1}{N}\text{\hspace{1em}(30)}$$

4.3.2 求${\mu }_1$

$$\frac{\partial L(\theta )}{\partial {\mu }_1}=\frac{\partial ①}{{\mu }_1}=0\text{\hspace{1em}(31)}$$
$$①=\sum _{i=1}^N\log {N_1({\mu }_1,\Sigma )}^{y_i}$$
$$①=\sum _{i=1}^N{y}_i\log \frac{1}{(2\pi {)}^{\frac{p}{2}}|\Sigma {|}^{\frac{1}{2}}}ex{p}^{(-\frac{1}{2}(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1))}\text{\hspace{1em}(32)}$$
$$①=\sum _{i=1}^N{y}_i[\log \frac{1}{(2\pi {)}^{\frac{p}{2}}|\Sigma {|}^{\frac{1}{2}}}-\frac{1}{2}(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1)]\text{\hspace{1em}(33)}$$
由于上式我们只关注关于${\mu }_1的相关项，故可简化上式为：$
$$①=\sum _{i=1}^N-\frac{1}{2}{y}_i(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1)\text{\hspace{1em}(34)}$$
$$①=\sum _{i=1}^N-\frac{1}{2}{y}_i(x_i^T{\Sigma }^{-1}{x}_i-x_i^T{\Sigma }^{-1}{\mu }_1-{\mu }_1^T{\Sigma }^{-1}{x}_i+{\mu }_1^T{\Sigma }^{-1}{\mu }_1)\text{\hspace{1em}(35)}$$
$注：x_i^T维度：1\times p;{\Sigma }^{-1}维度：p\times p;{\mu }_1维度：p\times 1;$
$$所以：x_i^T{\Sigma }^{-1}{\mu }_1=(1\times p)\times (p\times p)\times (p\times 1)=1;实数\text{\hspace{1em}(36)}$$
$$①=\sum _{i=1}^N-\frac{1}{2}{y}_i(x_i^T{\Sigma }^{-1}{x}_i-2{\mu }_1^T{\Sigma }^{-1}{x}_i+{\mu }_1^T{\Sigma }^{-1}{\mu }_1)\text{\hspace{1em}(37)}$$
$$\frac{\partial ①}{\partial {\mu }_1}=\sum _{i=1}^N-\frac{1}{2}{y}_i(0-2{\Sigma }^{-1}{x}_i+2{\Sigma }^{-1}{\mu }_1)=0\text{\hspace{1em}(38)}$$
$$\sum _{i=1}^N-\frac{1}{2}{y}_i(x_i-{\mu }_1)=0\text{\hspace{1em}(39)}$$
$$\sum _{i=1}^N(y_i{x}_i-y_i{\mu }_1)=0\text{\hspace{1em}(40)}$$
$$\widehat{{\mu }_1}=\frac{{\sum }_{i=1}^N{y}_i{x}_i}{{\sum }_{i=1}^N{y}_i}=\frac{{\sum }_{i=1}^N{y}_i{x}_i}{N_1}$$

4.3.3 求${\mu }_2$

$$\sum _{i=1}^N(1-y_i)(x_i-{\mu }_2)=0\text{\hspace{1em}(41)}$$
$$\sum _{i=1}^N(1-y_i)x_i-\sum _{i=1}^N(1-y_i){\mu }_2=0\text{\hspace{1em}(42)}$$

$$同理：\widehat{{\mu }_2}=\frac{{\sum }_{i=1}^N(1-y_i)x_i}{{\sum }_{i=1}^N(1-y_i)}=\frac{{\sum }_{i=1}^N(1-y_i)x_i}{N_2}\text{\hspace{1em}(43)}$$

4.3.4 求$\Sigma$

极大似然估计法求解$\Sigma ,由L(\theta )可知，只有①={\sum }_{i=1}^N\log {N_1({\mu }_1,\Sigma )}^{y_i}$;$②={\sum }_{i=1}^N{N}_2({\mu }_2,\Sigma {)}^{1-y_i}含有相关变量，故可得如下：$
$$\frac{\partial ①+②}{\partial \Sigma }=\frac{\partial {\sum }_{i=1}^N\log {N_1({\mu }_1,\Sigma )}^{y_i}+{\sum }_{i=1}^N{N}_2({\mu }_2,\Sigma {)}^{1-y_i}}{\partial \Sigma }=0\text{\hspace{1em}(44)}$$
为了简化计算，我们可化简如下：
$$\hat{\Sigma }=argmax[\sum _{x\in C_1}\log N_I({\mu }_1,\Sigma )+\sum _{x\in C_2}\log N_I({\mu }_2,\Sigma )]\text{\hspace{1em}(45)}$$
我们可以用通用公式计算如下：
$$\sum _{i=1}^N\log N(\mu ,\Sigma )=\sum _{i=1}^N[\log \frac{1}{(2\pi {)}^{\frac{p}{2}}|\Sigma {|}^{\frac{1}{2}}}ex{p}^{-\frac{1}{2}(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1)}]\text{\hspace{1em}(46)}$$
$$\sum _{i=1}^N\log N(\mu ,\Sigma )=\sum _{i=1}^N(-\frac{p}{2}log2\pi )-\sum _{i=1}^N\frac{1}{2}\log |\Sigma |-\sum _{i=1}^N\frac{1}{2}(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu )\text{\hspace{1em}(47)}$$
$$\sum _{i=1}^N\log N(\mu ,\Sigma )=C-\sum _{i=1}^N\frac{1}{2}\log |\Sigma |-\sum _{i=1}^N\frac{1}{2}(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu )\text{\hspace{1em}(48)}$$
通过维度判断，$(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu )是一维变量实数；故：$
$$(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu )=tr((x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu ))=tr((x_i-\mu {)}^T(x_i-\mu ){\Sigma }^{-1})$$
转化(48)可得：
$$\sum _{i=1}^N\log N(\mu ,\Sigma )=C-\sum _{i=1}^N\frac{1}{2}\log |\Sigma |-\sum _{i=1}^N\frac{1}{2}tr[(x_i-\mu {)}^T(x_i-\mu ){\Sigma }^{-1}]\text{\hspace{1em}(49)}$$
我们可以看出：${\sum }_{i=1}^N(x_i-\mu {)}^T(x_i-\mu )=N_i{S}_i;其中S_i表示样本方差，N_i表示样本大小$
$$\sum _{i=1}^N\log N(\mu ,\Sigma )=C-\sum _{i=1}^N\frac{1}{2}\log |\Sigma |-\frac{N_i}{2}tr[S_i{\Sigma }^{-1}]\text{\hspace{1em}(50)}$$
$$\frac{\partial {\sum }_{i=1}^N\log N(\mu ,\Sigma )}{\partial \Sigma }=\sum _{i=1}^N(\frac{1}{2}{\Sigma }^{-1})-\frac{N_i}{2}(-S_i{\Sigma }^{-2})=0\text{\hspace{1em}(51)}$$
$$上式结论：\hat{\Sigma }=\frac{N_i}{N}{S}_i\text{\hspace{1em}(52)}$$
$故从(45)公式可得，分别代入样本S_1,S_2：最终结果：$
$$\hat{\Sigma }=\frac{N_1}{N}{S}_1+\frac{N_2}{N}{S}_2=\frac{N_1{S}_1+N_2{S}_2}{N}\text{\hspace{1em}(53)}$$

4.4 结果总结：

$$\hat{\phi }=\frac{N_1}{N}\text{\hspace{1em}(54)}$$
$$\widehat{{\mu }_1}=\frac{{\sum }_{i=1}^N{y}_i{x}_i}{N_1}\text{\hspace{1em}(55)}$$
$$\widehat{{\mu }_2}=\frac{{\sum }_{i=1}^N(1-y_i)x_i}{N_2}\text{\hspace{1em}(56)}$$
$$\hat{\Sigma }=\frac{N_1{S}_1+N_2{S}_2}{N}\text{\hspace{1em}(57)}$$