2 数学基础：概率-高斯分布

1 一维情况 MLE

1.1 均值、方差估计

数据：$$X=(x_1,x_2,......,x_N{)}^T={\left(\begin{array}{c}{x}_1^T\\ x_2^T\\ ⋮\\ x_N^T\end{array}\right)}_{N\times p}$$
$$x_i\in {\mathbb{R}}^p$$
$$x_i{\sim }^{iid}N(\mu ,\Sigma )$$
$$\theta =(\mu ,\Sigma )$$
变量x独立同分布，服从于$(\mu ,\Sigma )$的高斯分布

高斯分布在机器学习中占有举足轻重的作用。在 MLE 方法中：

$$\theta =(\mu ,\Sigma )=(\mu ,{\sigma }^2),{\theta }_{MLE}=\underset{\theta }{\mathrm{argmax}}\log p(X|\theta )\underset{iid}{=}\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^N\log p(x_i|\theta )$$ 一般地，高斯分布的概率密度函数PDF写为：

$$p(x|\mu ,\Sigma )=\frac{1}{(2\pi {)}^{p/2}|\Sigma {|}^{1/2}}{e}^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$$
带入 MLE 中我们考虑一维的情况，需求解参数有 $\mu ,\sigma$

$$\begin{array}{rl}\log p(X|\theta )=\log \prod _{i=1}^{N}p(x_i|\theta )& =\sum _{i=1}^N\log p(x_i|\theta )\\ & =\sum _{i=1}^N\log \frac{1}{\sqrt{2\pi }\sigma }\exp (-(x_i-\mu {)}^2/2{\sigma }^2)\\ & =\sum _{i=1}^N\left[\log \frac{1}{\sqrt{2\pi }}+\log \frac{1}{\sigma }-(x_i-\mu {)}^2/2{\sigma }^2\right]\end{array}$$

估计结果：
均值无偏：${\mu }_{MLE}=\frac{1}{N}\sum _{i=1}^N{x}_i$
方差有偏：${\sigma }_{MLE}^2=\frac{1}{N}\sum _{i=1}^N(x_i-{\mu }_{MLE}{)}^2$
无偏方差： ${\hat{\sigma }}^2=\frac{1}{N-1}\sum _{i=1}^N(x_i-{\mu }_{MLE}{)}^2$

首先对 $\mu$ 的极值可以得到 ： $${\mu }_{MLE}=\underset{\mu }{\mathrm{argmax}}\log p(X|\theta )=\underset{\mu }{\mathrm{argmax}}-(x_i-\mu {)}^2/2{\sigma }^2=\underset{\mu }{\mathrm{argmin}}\sum _{i=1}^N(x_i-\mu {)}^2$$

于是： $$\frac{\partial }{\partial \mu }\sum _{i=1}^N(x_i-\mu {)}^2=0⟶{\mu }_{MLE}=\frac{1}{N}\sum _{i=1}^N{x}_i$$

其次对 $\theta$ 中的另一个参数 $\sigma$ ，有：
$$\begin{array}{rl}{\sigma }_{MLE}=\underset{\sigma }{\mathrm{argmax}}\log p(X|\theta )& =\underset{\sigma }{\mathrm{argmax}}\sum _{i=1}^N\left[-\log \sigma -\frac{1}{2{\sigma }^2}{\left(x_i-\mu \right)}^2\right]\\ & =\underset{\sigma }{\mathrm{argmin}}\sum _{i=1}^N\left[\log \sigma +\frac{1}{2{\sigma }^2}{\left(x_i-\mu \right)}^2\right]\end{array}$$

于是： $$\frac{\partial }{\partial \sigma }\sum _{i=1}^N[\log \sigma +\frac{1}{2{\sigma }^2}(x_i-\mu {)}^2]=0⟶{\sigma }_{MLE}^2=\frac{1}{N}\sum _{i=1}^N(xi-\mu {)}^2$$

1.2 有偏vs无偏

值得注意的是，上面的推导中，首先对 $\mu$ 求 MLE， 然后利用这个结果求 ${\sigma }_{MLE}$ ，因此可以预期的是对数据集求期望时 ${\mathbb{E}}_{\mathcal{D}}[{\mu }_{MLE}]$ 是无偏差的： $${\mathbb{E}}_{\mathcal{D}}[{\mu }_{MLE}]={\mathbb{E}}_{\mathcal{D}}[\frac{1}{N}\sum _{i=1}^N{x}_i]=\frac{1}{N}\sum _{i=1}^N{\mathbb{E}}_{\mathcal{D}}[x_i]=\mu$$
(因为$x_i$独立同分布，所以${\mathbb{E}}_{\mathcal{D}}[x_i]=\mu$)

但是当对 ${\sigma }_{MLE}$ 求 期望的时候由于使用了单个数据集的 ${\mu }_{MLE}$，因此对所有数据集求期望的时候我们会发现 ${\sigma }_{MLE}$ 是 有偏的：

$$\begin{array}{rl}{\mathbb{E}}_{\mathcal{D}}\left[{\sigma }_{MLE}^2\right]& ={\mathbb{E}}_{\mathcal{D}}\left[\frac{1}{N}\sum _{i=1}^N{\left(x_i-{\mu }_{MLE}\right)}^2\right]={\mathbb{E}}_{\mathcal{D}}[\frac{1}{N}\sum _{i=1}^N\left(x_i^2-2x_i{\mu }_{MLE}+{\mu }_{MLE}^2\right)\\ & ={\mathbb{E}}_{\mathcal{D}}\left[\frac{1}{N}\sum _{i=1}^N{x}_i^2-{\mu }_{MLE}^2\right]={\mathbb{E}}_{\mathcal{D}}\left[\frac{1}{N}\sum _{i=1}^N{x}_i^2-{\mu }^2+{\mu }^2-{\mu }_{MLE}^2\right]\\ & ={\mathbb{E}}_{\mathcal{D}}\left[\frac{1}{N}\sum _{i=1}^N(x_i^2-{\mu }^2)\right]-{\mathbb{E}}_{\mathcal{D}}\left[{\mu }_{MLE}^2-{\mu }^2\right]\\ & =\frac{1}{N}\sum _{i=1}^N({\mathbb{E}}_{\mathcal{D}}(x_i^2)-{\mu }^2)-\left({\mathbb{E}}_{\mathcal{D}}\left[{\mu }_{MLE}^2\right]-{\mathbb{E}}_{\mathcal{D}}^2\left[{\mu }_{MLE}\right]\right)\\ & =\frac{1}{N}\sum _{i=1}^N({\mathbb{E}}_{\mathcal{D}}(x_i^2)-({\mathbb{E}}_{\mathcal{D}}^2(x_i)))-\mathrm{Var}\left[{\mu }_{MLE}\right]\\ & ={\sigma }^2-\mathrm{Var}\left[\frac{1}{N}\sum _{i=1}^N{x}_i\right]\\ & ={\sigma }^2-\frac{1}{N^2}\sum _{i=1}^N\mathrm{Var}\left[x_i\right]\\ & =\frac{N-1}{N}{\sigma }^2\end{array}$$

所以： $${\hat{\sigma }}^2=\frac{1}{N-1}\sum _{i=1}^N(x_i-\mu {)}^2$$

2 多维情况

2.1 概率密度角度

$x=\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_p\end{array}\right)$ $\mu =\left(\begin{array}{c}{\mu }_1\\ {\mu }_2\\ ⋮\\ {\mu }_p\end{array}\right)$ $\Sigma =\left(\begin{array}{c}{\sigma }_{11}{\sigma }_{21}\dots {\sigma }_{1p}\\ {\sigma }_{21}{\sigma }_{22}\dots {\sigma }_{2p}\\ ⋮⋮⋮⋮\\ {\sigma }_{p1}{\sigma }_{p2}\dots {\sigma }_{pp}\end{array}\right)$

多维高斯分布表达式为： $$p(x|\mu ,\Sigma )=\frac{1}{(2\pi {)}^{p/2}|\Sigma {|}^{1/2}}{e}^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$$
其中 $x,\mu \in {\mathbb{R}}^p,\Sigma \in {\mathbb{R}}^{p\times p}$ ，$\Sigma$ 为协方差矩阵，一般而言也是半正定矩阵。这里我们只考虑正定矩阵。首先我们处理指数上的数字，指数上的数字($(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )$可以记为 $x$ 和 $\mu$ 之间的马氏距离(当$\Sigma =I$时，马氏距离=欧式距离)。对于对称的协方差矩阵可进行特征值分解，$\Sigma =U\Lambda U^T=(u_1,u_2,\cdots ,u_p)diag({\lambda }_i)(u_1,u_2,\cdots ,u_p{)}^T=\sum _{i=1}^p{u}_i{\lambda }_i{u}_i^T$ ，（其中$U{U}^T=U^{T}U=I,U=(u_1,u_2,,\cdots ,u_p{)}_{p\ast p}$，$u_i$实际上时协方差矩阵的特征向量）于是：

$${\Sigma }^{-1}=\sum _{i=1}^p{u}_i\frac{1}{{\lambda }_i}{u}_i^T$$

$$\Delta =(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )=\sum _{i=1}^p(x-\mu {)}^T{u}_i\frac{1}{{\lambda }_i}{u}_i^T(x-\mu )=\sum _{i=1}^p\frac{y{i}^2}{{\lambda }_i}$$

令$y_i=(x-\mu {)}^T{u}_i$，因此$y_i$是一个实数
我们注意到 $y_i$ 是 $x-\mu$ 在特征向量 $u_i$ 上的投影长度，因此上式子就是 $\Delta$ 取不同值时的同心椭圆（例如p=2）。
$p(x)=\frac{1}{(2\pi {)}^{p/2}|\Sigma {|}^{1/2}}{e}^{-\frac{1}{2}\Delta }$。一维的概率密度曲线用二维坐标系表示，二维的概率密度函数就需要用三维坐标系表示，是一个曲面，向x轴投影后就很多椭圆，如下图。

2.2 局限性

下面我们看多维高斯模型在实际应用时的两个问题
$\Sigma =\left(\begin{array}{c}{\sigma }_{11}{\sigma }_{21}\dots {\sigma }_{1p}\\ {\sigma }_{21}{\sigma }_{22}\dots {\sigma }_{2p}\\ ⋮⋮⋮⋮\\ {\sigma }_{p1}{\sigma }_{p2}\dots {\sigma }_{pp}\end{array}\right)$
对于参数 $\Sigma$而言，参数有$p^2$个，但是此矩阵时对称的，所以参数有（p+1)p/2个

1. 参数过多：参数 $\Sigma ,\mu$ 的自由度为 $O(p^2)$ 对于维度很高的数据其自由度太高，不利于计算。解决方案：高自由度的来源是 $\Sigma$ 有 $\frac{p(p+1)}{2}$ 个自由参数，可以假设其是对角矩阵，甚至在各向同性假设中假设其对角线上的元素都相同。前一种的算法有 Factor Analysis，后一种有概率 PCA(p-PCA) 。

2. 第二个问题是单个高斯分布是单峰的，对有多个峰的数据分布不能得到好的结果。解决方案：高斯混合GMM 模型。

2.3 边缘概率和条件概率

下面对多维高斯分布的常用定理进行介绍。

我们记 $x=(x_1,x_2,\cdots ,x_p{)}^T=(x_{a,m\times 1},x_{b,n\times 1}{)}^T,\mu =({\mu }_{a,m\times 1},{\mu }_{b,n\times 1}),\Sigma =\left(\begin{array}{cc}{\Sigma }_{aa}& {\Sigma }_{ab}\\ {\Sigma }_{ba}& {\Sigma }_{bb}\end{array}\right)，m+n=p$，已知 $x\sim \mathcal{N}(\mu ,\Sigma )$。求 $p(x_a),p(x_b),p(x_a|x_b),p(x_b|x_a)$

首先是一个高斯分布的定理：

定理：已知 $x\sim \mathcal{N}(\mu ,\Sigma ),y\sim Ax+b$，那么 $y\sim \mathcal{N}(A\mu +b,A\Sigma A^T)$。
证明：$\mathbb{E}[y]=\mathbb{E}[Ax+b]=A\mathbb{E}[x]+b=A\mu +b$，$Var[y]=Var[Ax+b]=Var[Ax]=A\cdot Var[x]\cdot A^T$。

下面利用这个定理得到 $p(x_a),p(x_b),p(x_a|x_b),p(x_b|x_a)$ 这四个量。

1. $x_a=\left({\mathbb{I}}_{m\times m}{\mathbb{O}}_{m\times n}\right))\left(\begin{array}{l}{x}_a\\ x_b\end{array}\right)$，代入定理中得到：
   $$\mathbb{E}[x_a]=\left(\begin{array}{cc}\mathbb{I}& \mathbb{O}\end{array}\right)\left(\begin{array}{c}{\mu }_a\\ {\mu }_b\end{array}\right)={\mu }_a$$ $$Var[x_a]=\left(\begin{array}{cc}\mathbb{I}& \mathbb{O}\end{array}\right)\left(\begin{array}{cc}{\Sigma }_{aa}& {\Sigma }_{ab}\\ {\Sigma }_{ba}& {\Sigma }_{bb}\end{array}\right)\left(\begin{array}{c}\mathbb{I}\\ \mathbb{O}\end{array}\right)={\Sigma }_{aa}$$
   所以 $x_a\sim \mathcal{N}({\mu }_a,{\Sigma }_{aa})$。

2. 同样的，$x_b\sim \mathcal{N}({\mu }_b,{\Sigma }_{bb})$。

3. 对于两个条件概率，我们引入三个量：
   $$x_{b\cdot a}=x_b-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a$$ $${\mu }_{b\cdot a}={\mu }_b-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\mu }_a$$ $${\Sigma }_{bb\cdot a}={\Sigma }_{bb}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\Sigma }_{ab}$$
   特别的，最后一个式子叫做 ${\Sigma }_{bb}$ 的 Schur Complementary。可以看到：
   $$x_{b\cdot a}=\left(-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{\mathbb{I}}_{n\times n}\right)\left(\begin{array}{l}{x}_a\\ x_b\end{array}\right)$$
   所以：
   $$\mathbb{E}[x_{b\cdot a}]=\left(\begin{array}{cc}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}& {\mathbb{I}}_{n\times n}\end{array}\right)\left(\begin{array}{c}{\mu }_a\\ {\mu }_b\end{array}\right)={\mu }_{b\cdot a}$$ $$Var[x_{b\cdot a}]=\left(\begin{array}{cc}-{\Sigma }_{ba}{\Sigma }_{aa}^{-1}& {\mathbb{I}}_{n\times n}\end{array}\right)\left(\begin{array}{cc}{\Sigma }_{aa}& {\Sigma }_{ab}\\ {\Sigma }_{ba}& {\Sigma }_{bb}\end{array}\right)\left(\begin{array}{c}-{\Sigma }_{aa}^{-1}{\Sigma }_{ba}^T\\ {\mathbb{I}}_{n\times n}\end{array}\right)={\Sigma }_{bb\cdot a}$$ 利用这三个量可以得到 $x_b=x_{b\cdot a}+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a$。因此： $$\mathbb{E}[x_b|x_a]={\mu }_{b\cdot a}+{\Sigma }_{ba}{\Sigma }_{aa}^{-1}{x}_a$$ $$Var[x_b|x_a]={\Sigma }_{bb\cdot a}$$ 这里同样用到了定理。
   上述推导中缺少Xb.a 与Xa的独立性证明，具体证明步骤如下：
   
   左侧是Mx和Nx相互独立的充要条件证明，后边使用左侧的结论。以上证明中x为服从高斯分布的随机变量，M，N均为矩阵，Mx，Nx也服从高斯分布，其中M，N为矩阵。
   Note：

• 一般情况下两个随机变量之间独立一定不相关，不相关不一定独立（也就是独立的概念更“苛刻”一点，不相关稍微“弱”一点）
• 如果两个随机变量均服从高斯分布，那么“不相关”等价于“独立”

4. 同样： $$x_{a\cdot b}=x_a-{\Sigma }_{ab}{\Sigma }_{bb}^{-1}{x}_b$$ $${\mu }_{a\cdot b}={\mu }_a-{\Sigma }_{ab}{\Sigma }_{bb}^{-1}{\mu }_b$$ $${\Sigma }_{aa\cdot b}={\Sigma }_{aa}-{\Sigma }_{ab}{\Sigma }_{bb}^{-1}{\Sigma }_{ba}$$
   所以： $$\mathbb{E}[x_a|x_b]={\mu }_{a\cdot b}+{\Sigma }_{ab}{\Sigma }_{bb}^{-1}{x}_b$$$$Var[x_a|x_b]={\Sigma }_{aa\cdot b}$$

2.4 联合概率分布

下面利用上边四个量，求解线性模型：

已知：$p(x)=\mathcal{N}(\mu ,{\Lambda }^{-1}),p(y|x)=\mathcal{N}(Ax+b,L^{-1})$，求解：$p(y),p(x|y)$。

解：令 $y=Ax+b+ϵ,ϵ\sim \mathcal{N}(0,L^{-1})$，所以 $\mathbb{E}[y]=\mathbb{E}[Ax+b+ϵ]=A\mu +b$，$Var[y]=A{\Lambda }^{-1}{A}^T+L^{-1}$，因此： $$p(y)=\mathcal{N}(A\mu +b,L^{-1}+A{\Lambda }^{-1}{A}^T)$$
引入 $z=\left(\begin{array}{l}x\\ y\end{array}\right)$，我们可以得到 $Cov[x,y]=\mathbb{E}[(x-\mathbb{E}[x])(y-\mathbb{E}[y]{)}^T]$。对于这个协方差可以直接计算： $$\mathrm{Cov}(x,y)=\mathbb{E}\left[(x-\mu )(Ax-A\mu +ϵ{)}^T\right]=\mathbb{E}\left[(x-\mu )(x-\mu {)}^T{A}^T\right]=\mathrm{Var}[x]A^T={\Lambda }^{-1}{A}^T$$注意到协方差矩阵的对称性，所以 $p(z)=\mathcal{N}(\left(\begin{array}{c}\mu \\ A\mu +b\end{array}\right),\left(\begin{array}{cc}{\Lambda }^{-1}& {\Lambda }^{-1}{A}^T\\ A{\Lambda }^{-1}& L^{-1}+A{\Lambda }^{-1}{A}^T\end{array}\right))$。根据之前2.3的公式，我们可以得到： $$\mathbb{E}[x|y]=\mu +{\Lambda }^{-1}{A}^T(L^{-1}+A{\Lambda }^{-1}{A}^T{)}^{-1}(y-A\mu -b)$$

$$Var[x|y]={\Lambda }^{-1}-{\Lambda }^{-1}{A}^T(L^{-1}+A{\Lambda }^{-1}{A}^T{)}^{-1}A{\Lambda }^{-1}$$