＜机器学习＞＜白板推导系列＞＜四＞

线性分类：

1. 硬分类 $\hat{y}\in 0,1$ ： 线性判别分析（fisher)、感知机
2. 软分类 $\hat{y}\in [0,1]$：生成式（Gaussian Discriminative Analysis)、判别式（Logistic Regression）

软分类输出：$P(y=1)=p$
判别式直接学习求解P(Y|X)；生成式利用贝叶斯定理求解$P(Y|X)=\frac{P(X|Y)P(Y)}{P(X)}$，给定先验$P(Y)$，给定条件下观察似然$P(X|Y)$

Note

样本集 X 包含N个样本， 每个样本的特征维度为p（也就是说 每一样本是长度为p的列向量）：
$$\begin{gathered} X=(x_1,x_2,...,x_N{)}^T\in {\mathbb{R}}^{\mathbb{N}\times p} \\ {x}_i=(x_i^1,x_i^2,...,x_i^p{)}^T\in {\mathbb{R}}^{p\times 1} \\ Y=(y_1,y_2,...,y_N{)}^T\in {\mathbb{R}}^N \\ {y}_i\in +1,-1 \end{gathered}$$
样本$(x_i,y_i{)}_{i=1}^N$；类别1样本集: $X_{c1}=${$x_i|y_i=1$}，$|X_{c1}|=N_1$ ；类别2样本集: $X_{c2}=${$x_i|y_i=-1$}，$|X_{c2}|=N_2$； 且 $N_1+N_2=N$

感知机

思想

错误驱动

模型

$$\begin{gathered} f(x)=sign(w^{T}x),x\in {\mathbb{R}}^p,w\in {\mathbb{R}}^p \\ sign(x)=\begin{array}{c}1,x>=0\\ -1,x<0\end{array} \end{gathered}$$

策略

loss function -> 被错误分类的样本的个数
$$L(w)=\sum _{i=1}^{N}I[y_i{w}^T{x}_i<0]$$
对于样本点$(x_i,y_i)$，应该有：
$$\begin{gathered} w^T{x}_i>0，y_i=1 \\ {w}^T{x}_i<0,y_i=-1 \end{gathered}$$
也就是有，被正确分类的样本应该满足：
$$y_i{w}^T{x}_i>0$$
由于，指示函数$I(\cdot )$不可导，将上述loss function 改写为以下形式：
$$L(w)=\sum _{x_i\in D}-y_i{w}^T{x}_i$$
则：
$$\frac{\partial L(w)}{\partial w}=-y_i{x}_i$$

算法

SGD
$$w^{t=1}=w^t+\lambda y_i{x}_I$$

Fisher’s linear discriminant

线性判别分析

思想

从降维的角度出发，将数据从p维空间投影到低维空间，然后进行分类 -> 找到合适的投影方向
类内小，类间大

样本点在分类线上的投影：
$$z_i=w^T{x}_i$$
$z_i$的均值：
$$\overline{z}=\frac{1}{N}\sum _{i=1}^N{z}_i$$
$z_i$的协方差：
$$S_z=\frac{1}{N}\sum _{i=1}^N(z_i-\overline{z})(z_i-\overline{z}{)}^T=\frac{1}{N}\sum _{i=1}^N(w^T{x}_i-\overline{z})(w^T{x}_i-\overline{z}{)}^T$$
对于类别1的样本有：
$$\begin{gathered} {\overline{z}}_1=\frac{1}{N_1}\sum _{i=1}^{N_1}{z}_i \\ {S}_1=\frac{1}{N_1}\sum _{i=1}^{N_1}(w^T{x}_i-{\overline{z}}_1)(w^T{x}_i-{\overline{z}}_1{)}^T \end{gathered}$$
对于类别2的样本有：
$$\begin{gathered} {\overline{z}}_2=\frac{1}{N_2}\sum _{i=1}^{N_2}{z}_i \\ {S}_2=\frac{1}{N_2}\sum _{i=1}^{N_2}(w^T{x}_i-{\overline{z}}_2)(w^T{x}_i-{\overline{z}}_2{)}^T \end{gathered}$$

模型:目标函数

损失函数loss function
类间：
$$({\overline{z}}_1-{\overline{z}}_2{)}^2$$
类内：
$$S_1+S_2$$
目标函数：
$$J(w)=\frac{({\overline{z}}_1-{\overline{z}}_2{)}^2}{S_1+S_2}$$
又：
$$\begin{gathered} {\overline{z}}_1-{\overline{z}}_2=\frac{1}{N_1}\sum _{i=1}^{N_1}{w}^T{x}_i-\frac{1}{N_2}\sum _{i=1}^{N_2}{w}^T{x}_i \\ =w^T(\frac{1}{N_1}\sum _{i=1}^{N_1}{x}_i-\frac{1}{N_2}\sum _{i=1}^{N_2}{x}_i) \\ =w^T({\overline{X}}_{c1}-{\overline{X}}_{c2}) \end{gathered}$$
$$\begin{gathered} S_1=\frac{1}{N_1}\sum _{i=1}^{N_1}(w^T{x}_i-{\overline{z}}_1)(w^T{x}_i-{\overline{z}}_1{)}^T \\ =\frac{1}{N_1}\sum _{i=1}^{N_1}(w^T{x}_i-\frac{1}{N_1}\sum _{j=1}^{N_1}{w}^T{x}_j)(w^T{x}_i-\frac{1}{N_1}\sum _{j=1}^{N_1}{w}^T{x}_j{)}^T \\ =\frac{1}{N_1}\sum _{i=1}^{N_1}{w}^T(x_i-\frac{1}{N_1}\sum _{j=1}^{N_1}{x}_j)(x_i-\frac{1}{N_1}\sum _{j=1}^{N_1}{x}_j{)}^{T}w \\ =\frac{1}{N_1}\sum _{i=1}^{N_1}{w}^T(x_i-{\overline{X}}_{c1})(x_i-{\overline{X}}_{c1}{)}^{T}w \\ =w^T\cdot \frac{1}{N_1}\sum _{i=1}^{N_1}(x_i-{\overline{X}}_{c1})(x_i-{\overline{X}}_{c1}{)}^T\cdot w \\ =w^T\cdot S_{c1}\cdot w \end{gathered}$$
同理：
$$S_2=w^T\cdot S_{c2}\cdot w$$
所以：
$$J(w)=\frac{({\overline{z}}_1-{\overline{z}}_2{)}^2}{S_1+S_2}=\frac{w^T({\overline{X}}_{c1}-{\overline{X}}_{c2})({\overline{X}}_{c1}-{\overline{X}}_{c2}{)}^{T}w}{w^T\cdot (S_{c1}+S_{c2})\cdot w}=\frac{w^T\cdot S_b\cdot w}{w^T\cdot S_w\cdot w}$$
类间方差 between-class
$$S_b=({\overline{X}}_{c1}-{\overline{X}}_{c2})({\overline{X}}_{c1}-{\overline{X}}_{c2}{)}^T$$
类内方差 with-class
$$S_w=S_{c1}+S_{c2}$$

求解

$$\hat{w}=\underset{w}{\mathrm{argmax}}J(w)=\underset{w}{\mathrm{argmax}}\frac{w^T\cdot S_b\cdot w}{w^T\cdot S_w\cdot w}$$
$$\frac{\partial J(w)}{\partial w}=2S_{b}w(w^T{S}_{w}w{)}^{-1}-2w^T{S}_{b}w(w^T{S}_{w}w{)}^{-2}{S}_{w}w=0$$
$$S_{b}w(w^T{S}_{w}w)-w^T{S}_{b}w{S}_{w}w=0$$
由于$w^T\in {\mathbb{R}}^{1\times p}，w\in {\mathbb{R}}^{p\times 1}，{\mathbb{S}}_b\in {\mathbb{R}}^{p\times p}，{\mathbb{S}}_w\in {\mathbb{R}}^{p\times p}$，所以 $w^T{S}_{w}w\in \mathbb{R}，w^T{S}_{b}w\in \mathbb{R}$
因此：
$$S_{w}w=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}{S}_{b}w$$
$$w=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}{S}_w^{-1}{S}_{b}w=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}{S}_w^{-1}({\overline{X}}_{c1}-{\overline{X}}_{c2})({\overline{X}}_{c1}-{\overline{X}}_{c2}{)}^{T}w$$
由于$({\overline{X}}_{c1}-{\overline{X}}_{c2})\in {\mathbb{R}}^{p\times 1}$，$({\overline{X}}_{c1}-{\overline{X}}_{c2}{)}^T\in {\mathbb{R}}^{1\times p}$,所以 $({\overline{X}}_{c1}-{\overline{X}}_{c2}{)}^{T}w\in \mathbb{R}$

因此：
$$\hat{w}=\lambda S_w^{-1}({\overline{X}}_{c1}-{\overline{X}}_{c2})$$
$$\lambda =\frac{w^T{S}_{b}w}{w^T{S}_{w}w}({\overline{X}}_{c1}-{\overline{X}}_{c2}{)}^{T}w$$

Logistic Regression

概率判别模型 -> p(y|x)

概率判别模型思想：
直接求解$p(y|x)$的值，对条件概率分布$p(y|x)$建模
$$\hat{y}=\underset{y\in 0,1}{\mathrm{argmax}}p(y|x)$$

sigmoid 函数：
$$\sigma (z)=\frac{1}{1+exp(-z)}$$
$p(y|x;w)$:
$$\begin{gathered} p(y=1|x;w)=\sigma (w^{T}x) \\ p(y=0|x;w)=1-p(y=1|x;w)=1-\sigma (w^{T}x) \\ p(y|x;w)=p(y=1|x;w{)}^{y}p(y=0|x;w{)}^{1-y} \end{gathered}$$
数据独立同分布，极大似然估计MLE：
$$\begin{gathered} \hat{w}=\underset{w}{\mathrm{argmax}}\log P(Y|X) \\ =\underset{w}{\mathrm{argmax}}\log \prod _{i=1}^{N}p(y_i|x_i;w) \\ =\underset{w}{\mathrm{argmax}}\sum _{i=1}^N\log p(y_i|x_i;w) \\ =\underset{w}{\mathrm{argmax}}\sum _{i=1}^N{y}_i\log p(y_i=1|x;w)+(1-y_i)\log p(y_i=0|x;w) \end{gathered}$$

Gaussian Discriminant Analysis

标签：软分类、连续数据、概率生成模型

高斯判别分析: 概率生成模型 -> p(x, y)

思想：
比较$p(y=1|x)$与$p(y=0|x)$的大小，实现分类
借助贝叶斯定理：
$$p(y|x)=\frac{p(x|y)p(y)}{p(x)}$$
当比较$p(y=1|x)$与$p(y=0|x)$的大小时，分子$p(x)$都是相同的，因此：
$$p(y|x)\propto p(x|y)p(y)$$
由于$p(x|y)p(y)=p(x,y)$，因此，概率生成模型是直接对联合概率分布$p(x,y)$建模。其中，$p(y)$是先验分布，$p(x|y)$是似然，$p(y|x)$是后验分布。

因此：
$$\hat{y}=\underset{y\in 0,1}{\mathrm{argmax}}p(y|x)=\underset{y\in 0,1}{\mathrm{argmax}}p(x|y)p(y)$$
高斯判别分析，假设先验$p(y)\sim Bernoulli(\varphi )$，似然$p(x|y=1)\sim \mathcal{N}({\mu }_1,\Sigma ),p(x|y=0)\sim \mathcal{N}({\mu }_2,\Sigma )$

先验分布，伯努利分布Bernoulli：
$$p(y=1)=\varphi ={\varphi }^y$$
$$p(y=0)=1-\varphi =(1-\varphi {)}^{1-y}$$
因此：
$$p(y)={\varphi }^y\cdot (1-\varphi {)}^{1-y}$$
同理，似然：
$$p(x|y)\sim \mathcal{N}({\mu }_1,\Sigma {)}^y\cdot \mathcal{N}({\mu }_2,\Sigma {)}^{1-y}$$

log-likelihood：
$$\begin{gathered} \mathcal{L}(\theta )=\log \prod _{i=1}^{N}p(x_i,y_i) \\ =\sum _{i=1}^N\log (p(x_i|y_i)p(y_i)) \\ =\sum _{i=1}^N\log p(x_i|y_i)+\log p(y_i) \\ =\sum _{i=1}^N\log \left[\mathcal{N}({\mu }_1,\Sigma {)}^{y_i}\cdot \mathcal{N}({\mu }_2,\Sigma {)}^{1-y_i}\right]+\log \left[{\varphi }^{y_i}\cdot (1-\varphi {)}^{1-y_i}\right] \\ =\sum _{i=1}^N\log \mathcal{N}({\mu }_1,\Sigma {)}^{y_i}+\log \mathcal{N}({\mu }_2,\Sigma {)}^{1-y_i}+\log \left[{\varphi }^{y_i}\cdot (1-\varphi {)}^{1-y_i}\right] \end{gathered}$$
$$\theta =({\mu }_1,{\mu }_2,\Sigma ,\varphi )$$
$$\hat{\theta }=\underset{\theta }{\mathrm{argmax}}\mathcal{L}(\theta )$$

求解$\varphi$:
$$\begin{gathered} \hat{\varphi }=\underset{\varphi }{\mathrm{argmax}}\sum _{i=1}^N\log \left[{\varphi }^{y_i}\cdot (1-\varphi {)}^{1-y_i}\right] \\ =\underset{\varphi }{\mathrm{argmax}}\sum _{i=1}^N{y}_i\log \varphi +(1-y_i)\log (1-\varphi ) \end{gathered}$$
对$\varphi$求导：
$$\begin{gathered} \sum _{i=1}^N\frac{y_i}{\varphi }-\frac{1-y_i}{1-\varphi }=0 \\ \sum _{i=1}^N(1-\varphi )y_i-(1-y_i)\varphi =0 \\ \sum _{i=1}^N(1-\varphi )y_i-(1-y_i)\varphi =0 \\ \sum _{i=1}^N{y}_i-\varphi =0 \end{gathered}$$
因此：
$$\hat{\varphi }=\frac{1}{N}\sum _{i=1}^N{y}_i$$

求解${\mu }_1$:
$$\begin{gathered} \widehat{{\mu }_1}=\underset{{\mu }_1}{\mathrm{argmax}}\sum _{i=1}^N\log \mathcal{N}({\mu }_1,\Sigma {)}^{y_i} \\ =\underset{{\mu }_1}{\mathrm{argmax}}\sum _{i=1}^N{y}_i\log \mathcal{N}({\mu }_1,\Sigma ) \\ =\underset{{\mu }_1}{\mathrm{argmax}}\sum _{i=1}^N{y}_i\log \frac{1}{2{\pi }^{p/2}\cdot |\Sigma {|}^{1/2}}\exp (-\frac{1}{2}(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1)) \\ =\underset{{\mu }_1}{\mathrm{argmax}}\sum _{i=1}^N{y}_i\left[-\frac{1}{2}(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1)-\frac{p}{2}\log 2\pi -\frac{1}{2}\log |\Sigma |\right] \\ =\underset{{\mu }_1}{\mathrm{argmax}}\sum _{i=1}^N{y}_i\left[-\frac{1}{2}(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1)\right] \end{gathered}$$
$$\begin{gathered} \sum _{i=1}^N{y}_i\left[-\frac{1}{2}(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1)\right] \\ =-\frac{1}{2}\sum _{i=1}^N{y}_i\left[(x_i^T{\Sigma }^{-1}-{\mu }_1^T{\Sigma }^{-1})(x_i-{\mu }_1)\right] \\ =-\frac{1}{2}\sum _{i=1}^N{y}_i\left[x_i^T{\Sigma }^{-1}{x}_i-2x_i^T{\Sigma }^{-1}{\mu }_1+{\mu }_1^T{\Sigma }^{-1}{\mu }_1\right] \\ =-\frac{1}{2}\sum _{i=1}^N{y}_i\left[x_i^T{\Sigma }^{-1}{x}_i-2{\mu }_1^T{\Sigma }^{-1}{x}_i+{\mu }_1^T{\Sigma }^{-1}{\mu }_1\right] \end{gathered}$$
对${\mu }_1$求导：
$$\begin{gathered} -\frac{1}{2}\sum _{i=1}^N{y}_i\left[2{\Sigma }^{-1}{\mu }_1-2{\Sigma }^{-1}{x}_i\right]=0 \\ \sum _{i=1}^N{y}_i({\mu }_1-x_i)=0 \end{gathered}$$
因此：
$$\widehat{{\mu }_1}=\frac{{\sum }_{i=1}^N{y}_i{x}_i}{{\sum }_{i=1}^N{y}_i}$$

同理，求解${\mu }_2$：
$$\begin{gathered} \widehat{{\mu }_2}=\underset{{\mu }_2}{\mathrm{argmax}}\sum _{i=1}^N\log \mathcal{N}({\mu }_2,\Sigma {)}^{1-y_i} \\ =\underset{{\mu }_2}{\mathrm{argmax}}\sum _{i=1}^N(1-y_i)\log \mathcal{N}({\mu }_2,\Sigma ) \\ =\underset{{\mu }_2}{\mathrm{argmax}}\sum _{i=1}^N(1-y_i)\log \frac{1}{2{\pi }^{p/2}\cdot |\Sigma {|}^{1/2}}\exp (-\frac{1}{2}(x_i-{\mu }_2{)}^T{\Sigma }^{-1}(x_i-{\mu }_2)) \\ =\underset{{\mu }_2}{\mathrm{argmax}}\sum _{i=1}^N(1-y_i)\left[-\frac{1}{2}(x_i-{\mu }_2{)}^T{\Sigma }^{-1}(x_i-{\mu }_2)-\frac{p}{2}\log 2\pi -\frac{1}{2}\log |\Sigma |\right] \\ =\underset{{\mu }_2}{\mathrm{argmax}}\sum _{i=1}^N(1-y_i)\left[-\frac{1}{2}(x_i-{\mu }_2{)}^T{\Sigma }^{-1}(x_i-{\mu }_2)\right] \end{gathered}$$
$$\begin{gathered} \sum _{i=1}^N(1-y_i)\left[-\frac{1}{2}(x_i-{\mu }_2{)}^T{\Sigma }^{-1}(x_i-{\mu }_2)\right] \\ =-\frac{1}{2}\sum _{i=1}^N(1-y_i)\left[(x_i^T{\Sigma }^{-1}-{\mu }_2^T{\Sigma }^{-1})(x_i-{\mu }_2)\right] \\ =-\frac{1}{2}\sum _{i=1}^N(1-y_i)\left[x_i^T{\Sigma }^{-1}{x}_i-2x_i^T{\Sigma }^{-1}{\mu }_2+{\mu }_2^T{\Sigma }^{-1}{\mu }_2\right] \\ =-\frac{1}{2}\sum _{i=1}^N(1-y_i)\left[x_i^T{\Sigma }^{-1}{x}_i-2{\mu }_2^T{\Sigma }^{-1}{x}_i+{\mu }_2^T{\Sigma }^{-1}{\mu }_2\right] \end{gathered}$$
对${\mu }_1$求导：
$$\begin{gathered} -\frac{1}{2}\sum _{i=1}^N(1-y_i)\left[2{\Sigma }^{-1}{\mu }_2-2{\Sigma }^{-1}{x}_i\right]=0 \\ \sum _{i=1}^N(1-y_i)({\mu }_2-x_i)=0 \end{gathered}$$
因此：
$$\widehat{{\mu }_2}=\frac{{\sum }_{i=1}^N(1-y_i)x_i}{{\sum }_{i=1}^N(1-y_i)}$$
求解$\Sigma$：
$$\begin{gathered} \hat{\Sigma }=\underset{\Sigma }{\mathrm{argmax}}\sum _{i=1}^N\log \mathcal{N}({\mu }_1,\Sigma {)}^{y_i}+\log \mathcal{N}({\mu }_2,\Sigma {)}^{1-y_i} \\ =\underset{\Sigma }{\mathrm{argmax}}\sum _{i=1}^N{y}_i\log \mathcal{N}({\mu }_1,\Sigma )+(1-y_i)\log \mathcal{N}({\mu }_2,\Sigma ) \end{gathered}$$
令$C_1=${$x_i|y_i=1,i=1,2,...,N$}，$C_2=${$x_i|y_i=0,i=1,2,...,N$}，则$|C_1|=N_1$，$|C_2|=N_2$，$N_1+N_2=N$。

因此，
$$\hat{\Sigma }=\underset{\Sigma }{\mathrm{argmax}}\left[\sum _{x_i\in C_1}\log \mathcal{N}({\mu }_1,\Sigma )+\sum _{x_i\in C_2}\log \mathcal{N}({\mu }_2,\Sigma )\right]$$
由于：
$$\begin{gathered} \sum _{i=1}^N\log \mathcal{N}(\mu ,\Sigma )=\sum _{i=1}^N\log \frac{1}{2{\pi }^{p/2}\cdot |\Sigma {|}^{1/2}}\exp (-\frac{1}{2}(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu )) \\ =\sum _{i=1}^N-\frac{1}{2}(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu )-\frac{p}{2}\log 2\pi -\frac{1}{2}\log |\Sigma | \\ =\sum _{i=1}^{N}C-\frac{1}{2}\log |\Sigma |-\frac{1}{2}(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu ) \\ =C-\frac{1}{2}\sum _{i=1}^N\log |\Sigma |-\frac{1}{2}\sum _{i=1}^N(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu ) \\ =C-\frac{N}{2}\log |\Sigma |-\frac{1}{2}\sum _{i=1}^N(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu ) \end{gathered}$$
因为，$x_i\in {\mathcal{R}}^{p\times 1}$，${\Sigma }^{-1}\in {\mathcal{R}}^{p\times p}$，则$(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu )\in \mathcal{R}$。

另外，
$$trace(AB)=trace(BA)$$
$$trace(ABC)=trace(CAB)=trace(BCA)$$
$$\frac{\partial trace(AB)}{\partial A}=B^T$$
$$\frac{\partial |A|}{\partial A}=|A|\cdot A^{-1}$$
所以：
$$\begin{gathered} \sum _{i=1}^N\log \mathcal{N}(\mu ,\Sigma )=C-\frac{N}{2}\log |\Sigma |-\frac{1}{2}\sum _{i=1}^N(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu ) \\ =C-\frac{N}{2}\log |\Sigma |-\frac{1}{2}\sum _{i=1}^{N}trace((x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu )) \\ =C-\frac{N}{2}\log |\Sigma |-\frac{1}{2}\sum _{i=1}^{N}trace((x_i-\mu )(x_i-\mu {)}^T{\Sigma }^{-1}) \\ =C-\frac{N}{2}\log |\Sigma |-\frac{1}{2}trace(\sum _{i=1}^N(x_i-\mu )(x_i-\mu {)}^T{\Sigma }^{-1}) \end{gathered}$$
有，协方差矩阵$S$：
$$S=\frac{1}{N}\sum _{i=1}^N(x_i-\mu )(x_i-\mu {)}^T$$
所以：
$$\begin{gathered} \sum _{i=1}^N\log \mathcal{N}(\mu ,\Sigma )=C-\frac{N}{2}\log |\Sigma |-\frac{1}{2}trace(\sum _{i=1}^N(x_i-\mu )(x_i-\mu {)}^T{\Sigma }^{-1}) \\ =C-\frac{N}{2}\log |\Sigma |-\frac{1}{2}trace(NS\cdot {\Sigma }^{-1}) \\ =C-\frac{N}{2}\log |\Sigma |-\frac{N}{2}trace(S\cdot {\Sigma }^{-1}) \end{gathered}$$
那么：
$$\begin{gathered} \hat{\Sigma }=\underset{\Sigma }{\mathrm{argmax}}\left[\sum _{x_i\in C_1}\log \mathcal{N}({\mu }_1,\Sigma )+\sum _{x_i\in C_2}\log \mathcal{N}({\mu }_2,\Sigma )\right] \\ =\underset{\Sigma }{\mathrm{argmax}}-\frac{N_1}{2}\log |\Sigma |-\frac{N_1}{2}trace(S_1\cdot {\Sigma }^{-1})-\frac{N_2}{2}\log |\Sigma |-\frac{N_2}{2}trace(S_2\cdot {\Sigma }^{-1})+C \\ =\underset{\Sigma }{\mathrm{argmax}}-\frac{N}{2}\log |\Sigma |-\frac{N_1}{2}trace(S_1\cdot {\Sigma }^{-1})-\frac{N_2}{2}trace(S_2\cdot {\Sigma }^{-1})+C \end{gathered}$$
对$\Sigma$求导：
$$\frac{N}{2|\Sigma |}\cdot |\Sigma |{\Sigma }^{-1}+\frac{N_1}{2}{S}_1^T(-{\Sigma }^{-2})+\frac{N_2}{2}{S}_2^T(-{\Sigma }^{-2})=0$$
$$N{\Sigma }^{-1}-N_1{S}_1^T{\Sigma }^{-2}-N_2{S}_2^T{\Sigma }^{-2}=0$$
$$N-N_1{S}_1^T{\Sigma }^{-1}-N_2{S}_2^T{\Sigma }^{-1}=0$$
因为$S=\frac{1}{N}{\sum }_{i=1}^N(x_i-\mu )(x_i-\mu {)}^T$，所以$S_1^T=S1，S_2^T=S_2$。

那么：
$$N\Sigma -N_1{S}_1-N_2{S}_2=0$$
所以：
$$\hat{\Sigma }=\frac{N_1{S}_1+N_2{S}_2}{N}$$

Naive Bayes Classfier

标签：朴素贝叶斯、软分类、离散数据、概率生成模型 、最简单的概率图模型（有向图）

思想：朴素贝叶斯假设 (or 条件独立性假设）$\to$ $x_i\perp x_j|y$，(动机是为了简化运算)，则
$$p(x|y)=\prod _{i=j}^{p}p(x_j|y)$$
当$x_j$离散时，$x_j\sim Categorical分布$；当$x_j$连续时，$x_j\sim \mathcal{N}({\mu }_j,{\sigma }_j^2)Gaussian分布$。一般情况下，朴素贝叶斯用于离散数据。

一次试验，试验结果为$0/1$时（e.g. 抛硬币），对应于$Bernoulli分布$，试验结果为$1,2,3,...,K$时（e.g. 抛骰子），对应于$Categorical分布$；N次试验，试验结果为$0/1$时，对应于$Binorminal分布$，试验结果为$1,2,3,...,K$时，对应于$Multinorminal分布$。

目标：给定$x，y=0/1$
$$\begin{gathered} \hat{y}=\underset{y}{\mathrm{argmax}}p(y|x) \\ =\underset{y\in 0,1}{\mathrm{argmax}}p(x|y)p(y) \end{gathered}$$
对于二分类问题，$p(y)\sim Bernoulli分布$；对于多分类问题，$p(y)\sim Categorical分布$。

采用极大似然估计MLE，可以求解参数。