高斯判别分析（GDA）

高斯判别分析

建立高斯模型

【假设】：$$y\sim Bernouli(\Phi )$$$$x|y=0\sim N({\mu }_0,\Sigma )$$$$x|y=1\sim N({\mu }_1,\Sigma )$$
由贝叶斯公式可得： $P(y|x)=\frac{p(x|y)p(y)}{p(x)}$
则 $\hat{y}=arg$ $max$ $p(y|x)=$ $arg$ $max$ $\frac{p(x|y)p(y)}{p(x)}=$ $arg$ $max$ $p(x|y)p(y)$

【参数估计】：

构造对数似然函数:
$$\begin{gathered} L(\Phi ,{\mu }_0,{\mu }_1,\Sigma )=log\prod _{i=1}^{m}P(x^{(i)},y^{(i)})=log\prod _{i=1}^{m}P(x^{(i)}|y^{(i)})P(y^{(i)}) \\ =\sum _{i=1}^m(logP(x^{(i)}|y^{(i)})+logP(y^{(i)})) \end{gathered}$$
$=\sum _{i=1}^m[log(P(x^{(i)}|y^{(i)}=0{)}^{1-y^{(i)}}\ast P(x^{(i)}|y^{(i)}=1{)}^{y^{(i)}})+logP(y^{(i)})]$
$=\sum _{i=1}^m[(1-y^{(i)})logP(x^{(i)}|y^{(i)}=0)+y^{(i)}logP(x^{(i)}|y^{(i)}=1)+logP(y^{(i)})]$

其中，第一项只和 ${\mu }_0,\Sigma$ 有关，第二项只和 ${\mu }_1,\Sigma$ 有关，第三项只和 $\Phi$ 有关

【求 $\Phi$】:

$$\begin{gathered} \frac{\partial L}{\partial \Phi }=\frac{\partial \sum _{i=1}^{m}logP(y^{(i)})}{\partial \Phi }=\frac{\partial \sum _{i=1}^m(log{\Phi }^{y^{(i)}}\ast (1-\Phi {)}^{1-y^{(i)}})}{\partial \Phi }=\frac{\partial \sum _{i=1}^m(y^{(i)}log\Phi +(1-y^{(i)})log(1-\Phi )))}{\partial \Phi } \\ =\sum _{i=1}^m(y^{(i)}\frac{1}{\Phi }+(1-y^{(i)})\frac{1}{1-\Phi }) \\ =\sum _{i=1}^m(I(y^{(i)}=1)\frac{1}{\Phi }+I(y^{(i)}=0)\frac{1}{1-\Phi })=0 \end{gathered}$$

可求得：$\hat{\Phi }=\frac{\sum _{i=1}^{m}I(y^{(i)}=1)}{\sum _{i=1}^{m}I(y^{(i)}=0)+\sum _{i=1}^{m}I(y^{(i)}=1)}=\frac{\sum _{i=1}^{m}I(y^{(i)}=1)}{m}$

【求 ${\mu }_0,{\mu }_1$】:

$$\begin{gathered} \frac{\partial L}{\partial {\mu }_0}=\frac{\partial \sum _{i=1}^m(1-y^{(i)})logP(x^{(i)}|y^{(i)}=0)}{\partial {\mu }_0}=\frac{\partial \sum _{i=1}^m(1-y^{(i)})[log\frac{1}{\sqrt{(2\pi {)}^p|\Sigma |}}-\frac{1}{2}(x^{(i)}-{\mu }_0{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_0)]}{\partial {\mu }_0} \\ =\sum _{i=1}^m(1-y^{(i)}){\Sigma }^{-1}(x^{(i)}-{\mu }_0)=\sum _{i=1}^{m}I(y^{(i)}=0)(x^{(i)}-{\mu }_0)=0 \end{gathered}$$

可求得：$\widehat{{\mu }_0}=\frac{\sum _{i=1}^{m}I(Y^{(i)}=0)x^{(i)}}{\sum _{i=1}^{m}I(y^{(i)}=0)}$

同理得：$\widehat{{\mu }_1}=\frac{\sum _{i=1}^{m}I(Y^{(i)}=1)x^{(i)}}{\sum _{i=1}^{m}I(y^{(i)}=1)}$

【求 $\Sigma$】：

令 $a=log\frac{1}{\sqrt{(2\pi {)}^p|\Sigma |}}=-\frac{p}{2}log(2\pi )-\frac{1}{2}log|\Sigma |$

$\Sigma$ 之和前两项有关，因此将前两项写作：

$$\begin{gathered} \sum _{i=1}^m(1-y^{(i)})a+\sum _{i=1}^m{y}^{(i)}a-\frac{1}{2}\sum _{i=1}^m(x^{(i)}-{\mu }_0{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_0)-\frac{1}{2}\sum _{i=1}^m(x^{(i)}-{\mu }_1{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_1) \\ =\sum _{i=1}^{m}a-\frac{1}{2}\sum _{i=1}^m(x^{(i)}-{\mu }_{y^{(i)}}{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_{y^{(i)}}) \end{gathered}$$

则 $\frac{\partial L}{\partial \Sigma }=m(-\frac{1}{2}\frac{1}{|\Sigma |}|\Sigma |{\Sigma }^{-1})-\frac{1}{2}\sum _{i=1}^m(x^{(i)}-{\mu }_{y^{(i)}}{)}^T(-1){\Sigma }^{-2}(x^{(i)}-{\mu }_{y^{(i)}})=0$

求得： $\hat{\Sigma }=\frac{1}{m}\sum _{i=1}^m(x^{(i)}-{\mu }_{y^{(i)}}{)}^T(x^{(i)}-{\mu }_{y^{(i)}})$

【分类】：

求得上述参数之后就可以代入样本 $x$ 求后验概率 $p(y=1|x)$ 和$p(y=0|x)$，比较二者大小，将样本 $x$ 归于后验概率大的一类。因此可以得到GDA的分离超平面$$p(y=1|x)=p(y=0|x)$$$$p(x|y=0)p(y=0)=p(x|y=1)p(y=1)$$ ( 1 − Φ ) e x p { ( x − μ 0 ) T Σ − 1 ( x − μ 0 ) } = Φ e x p { ( x − μ 1 ) T Σ − 1 ( x − μ 1 ) } (1-\Phi) exp\{(x-\mu_0)^T\Sigma^{-1}(x-\mu_0)\}=\Phi exp\{(x-\mu_1)^T\Sigma^{-1}(x-\mu_1)\} (1−Φ)exp{(x−μ0​)TΣ−1(x−μ0​)}=Φexp{(x−μ1​)TΣ−1(x−μ1​)}

对上式两边取对数化简可得：$$x^T{\Sigma }^{-1}({\mu }_1-{\mu }_0)+({\mu }_1-{\mu }_0{)}^T{\Sigma }^{-1}x={\mu }_1^T{\Sigma }^{-1}{\mu }_1-{\mu }_0^T{\Sigma }^{-1}{\mu }_0+log\Phi -log(1-\Phi )$$因为左边两项都是数，因此进一步化简：$$2x^T{\Sigma }^{-1}({\mu }_1-{\mu }_0)={\mu }_1^T{\Sigma }^{-1}{\mu }_1-{\mu }_0^T{\Sigma }^{-1}{\mu }_0+log\Phi -log(1-\Phi )$$
令 $A=2{\Sigma }^{-1}({\mu }_1-{\mu }_0)={\left(\begin{array}{cccc}{a}_1& a_2& \dots & a_p\end{array}\right)}^T,b={\mu }_1^T{\Sigma }^{-1}{\mu }_1-{\mu }_0^T{\Sigma }^{-1}{\mu }_0+log\Phi -log(1-\Phi )$

则超平面可简化为 $x^{T}A=b\Rightarrow a_1{x}_1+a_2{x}_2+\cdots +a_p{x}_p=b$