白板推导系列（第二节）

白板推导系列（第二节）

内容来源于b站up主shuhuai008

高斯分布介绍

正态分布（Normal distribution），也称“常态分布”，又名高斯分布（Gaussian distribution），最早由棣莫弗（Abraham de Moivre）在求二项分布的渐近公式中得到。C.F.高斯在研究测量误差时从另一个角度导出了它。P.S.拉普拉斯和高斯研究了它的性质。是一个在数学、物理及工程等领域都非常重要的概率分布，在统计学的许多方面有着重大的影响力。
一元高斯分布的概率密度函数为：$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$，高维高斯分布概率密度函数为：
$g(\mathbf{X})=\frac{1}{(2\pi {)}^{\frac{d}{2}}\Vert \Sigma {\Vert }^{\frac{1}{2}}}{e}^{-\frac{1}{2}(x-u{)}^T{\Sigma }^{-1}(x-u)}$， 文章里有详细讲解。

高斯分布的极大似然估计

先观察一维的高斯分布情况，高维情况可以直接推广。假设样本$X=(x_1,x_2,x_3,\dots ,x_n)$是独立同分布与高斯分布$N(\mu ,{\sigma }^2)$, 对其做一个最大似然估计有：
$logP(X|\theta )=log{\prod }_{i=1}^{n}P(x_i|\theta )={\sum }_{i=1}^{n}logP(x_i|\theta )={\sum }_i[-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}-log\sqrt{2\pi }\sigma ]=-L(\mu ,\sigma )$
从而利用极大似然估计可得：
${\mu }_{MLE}=\underset{\mu }{\mathrm{argmax}}L(\mu ,\sigma )=\underset{\mu }{\mathrm{argmax}}{\sum }_i-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}=\underset{\mu }{\mathrm{argmin}}{\sum }_i\frac{(x_i-\mu {)}^2}{2{\sigma }^2}$
求其极值，对$\mu 求导$有
$$\frac{\partial }{\partial \mu }\left(\sum _i\frac{{\left(x_i-\mu \right)}^2}{2{\sigma }^2}\right)=-\sum _i\frac{\left(x_i^2-\mu \right)}{{\sigma }^2}=0$$
$${\mu }_{MLE}=\frac{1}{n}\sum _i{x}_i$$
下面用同样方法求$\sigma$的极大似然估计:
$$\begin{array}{rl}{\sigma }_{MLE}& =\underset{\sigma }{\mathrm{argmax}}L(\mu ,\sigma )=\underset{\sigma }{\mathrm{argmax}}\sum _i\left[\frac{{\left(x_i-\mu \right)}^2}{2{\sigma }^2}+\log \sigma +\log \sqrt{2\pi }\right]\\ & =\underset{\sigma }{\mathrm{argmin}}\sum _i\left[\frac{{\left(x_i-\mu \right)}^2}{2{\sigma }^2}+\log \sigma \right]\end{array}$$
同样求导有：
$$\frac{\partial }{\partial \sigma }\sum _i\left[\frac{{\left(x_i-\mu \right)}^2}{2{\sigma }^2}+\log \sigma \right]=-\frac{1}{{\sigma }^3}\sum _i{\left(x_i-\mu \right)}^2+\frac{n}{\sigma }=0$$
所以，
$${\sigma }_{MLE}^2=\frac{1}{n}\sum _i{\left(x_i-{\mu }_{MLE}\right)}^2$$
注意，极大似然估计出的$\mu$是无偏估计，而$\sigma$是有偏估计。

无偏估计

无偏估计是用样本统计量来估计总体参数时的一种无偏推断。估计量的数学期望等于被估计参数的真实值，则称此估计量为被估计参数的无偏估计，即具有无偏性，是一种用于评价估计量优良性的准则。无偏估计的意义是：在多次重复下，它们的平均数接近所估计的参数真值。

有偏估计

有偏估计（biased estimate）是指由样本值求得的估计值与待估参数的真值之间有系统误差，其期望值不是待估参数的真值。在统计学中，估计量的偏差（或偏差函数）是此估计量的期望值与估计参数的真值之差。偏差为零的估计量或决策规则称为无偏的。否则该估计量是有偏的。

所以，我们验证参数是有偏还是无偏的也就要要验证参数的期望是否等于样本的真实参数。
$E({\mu }_{MLE})=E(\frac{1}{n}{\sum }_i{x}_i)=\frac{1}{n}{\sum }_{i}E(x_i)=\mu$
所以$\mu$是无偏估计。
对于参数$\sigma$有：
$\begin{array}{rl}{\sigma }_{MLE}^2& =\frac{1}{n}\sum _i(x_i-\mu {)}^2\\ & =\frac{1}{n}\sum _i^T\left(x_i^2-2x_i{\mu }_{MLE}+{\mu }_{MLE}^2\right)\\ & =\frac{i}{n}\sum _i{x}_i^2-\frac{2}{n}\sum _i{x}_i{\mu }_{MLE}+n{\mu }_{}^2\\ & =\frac{1}{n}\sum _i{x}_i^2-2{\mu }_{MLE}^2+{\mu }_{MLE}^2\\ & =\frac{1}{n}\sum _i{x}_i^2-{\mu }_{MLE}^2\end{array}$
$\begin{array}{rl}E[{\sigma }_{MLE}^2]& =E[\frac{1}{n}\sum _i{x}_i^2-{\mu }_{MLE}^2]\\ & =E[\frac{1}{n}\sum _i{x}_i^2-{\mu }^2+{\mu }^2-{\mu }_{MLE}^2]\\ & =E[[\frac{1}{n}\sum _i{x}_i^2-{\mu }^2]-E[{\mu }_{MLE}^2-{\mu }^2]\\ & =\frac{1}{n}\sum _i[E[x_i]-{\mu }^2]-[E[{\mu }_{MLE}^2]-E[{\mu }^2]]\\ & =\frac{1}{n}\sum _i{\sigma }^2-\frac{1}{n}{\sigma }^2\\ & =\frac{n-1}{n}{\sigma }^2\end{array}$
所以${\sigma }_{MLE}$是有偏估计，$\frac{n}{n-1}{\sigma }_{MLE}^2$才是高斯分布的无偏估计。

从概率角度观察高斯分布

从概率的角度来观察高斯分布，需要从高维情况来观察，高维的高斯概率密度公式是$g(\mathbf{X})=\frac{1}{(2\pi {)}^{\frac{d}{2}}\Vert \Sigma {\Vert }^{\frac{1}{2}}}{e}^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$，其中我们对各个参数表示一下有助于直观理解，$x$是一个$p$维向量$x=(x_1,x_2,\cdots ,x_p{)}^{⊺},u$是各个维度上的样本均值，$\mu =({\mu }_1,{\mu }_2,\cdots ,{\mu }_p{)}^{⊺}$，$\Sigma$是各个分量的协方差矩阵，$\Sigma =\left[\begin{array}{ccccc}{\sigma }_{11}& {\sigma }_{12}& \cdots & {\sigma }_{1p}& \\ {\sigma }_{21}& {\sigma }_{22}& \cdots & {\sigma }_{2p}& \\ ⋮& ⋮& \ddots & ⋮& \\ {\sigma }_{p1}& {\sigma }_{p2}& \cdots & {\sigma }_{pp}& \end{array}\right]$。
显然$\Sigma$是一个对称矩阵，可知$\Sigma$作变换，$\Sigma =U\Lambda U^{⊺}$,其中$U$是正交矩阵，写作$(u_1,u_2,\cdots ,u_p)$, $\Lambda =diag({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_p)$
则$\Sigma ={\sum }_{i=1}^p{u}_i{\lambda }_i{u}_i^{⊺}$,所以${\Sigma }^{-1}={\sum }_{i=1}^p{u}_i\frac{1}{{\lambda }_i}{u}_i^{⊺}$。
$$\begin{array}{r}\Delta =(x-\mu {)}^{⊺}{\Sigma }^{-1}(x-\mu )=(x-\mu {)}^{\top }\sum _{i=1}^p{u}_i\frac{1}{{\lambda }_i}{u}_i^{\top }(x-\mu )\\ =\sum _{i=1}(x-\mu {)}^{\top }{u}_i\frac{1}{{\lambda }_i}{u}_i^{\top }(x-\mu )\end{array}$$
令$y_i=(x-\mu )u_i^{\top }$,可以看出$y_i$就是$(x-\mu )$在$u_i$上的投影，$u_i$是协方差矩阵的关于特征值${\lambda }_i$的特征向量。上式继续化简有：
$$\begin{array}{rl}& =\sum _{i=1}^p{y}_i\frac{1}{{\lambda }_i}{y}_i^{\top }\\ & =\sum _{i=1}^p\frac{y_i^2}{{\lambda }_i}\end{array}$$
对上式分析，先假设$p=2$,对一个固定了的高斯分布有$\frac{y_1^2}{{\lambda }_1}+\frac{y_2^2}{{\lambda }_2}=\delta$可以看出是一个椭圆形，根据该公式，可以绘制出其概率密度函数的等高线,意义就是其概率密度等高线是椭圆形式的，若${\lambda }_1={\lambda }_2$,此时是圆，高维情形下也可以类推下去知是高维情况下的椭圆形密度函数，其收敛于中心一点。

高斯分布的局限性

一、高斯分布的参数较多$(p^2)$，而且不是相互独立的，就导致协方差矩阵$\Sigma$较难计算。
二、现实的模型都比较复杂，大部分都很难用一个高斯模型所表示，这时我们引入了高斯混合模型(Gussian Mixure Model，GMM)

高斯模型的概率分布

条件概率和边缘概率

先介绍一个事实， 若$x\sim N(\mu ,{\sum }^2),x\in R^p$,$y=Ax+B$则$y\sim N(A\mu +B,A\sum A^{\top })$。
问题：$x=\left[\begin{array}{c}{x}_a\\ x_b\end{array}\right],x_a\in R^m,x_b\in R^n,m+n=p.\mu =\left[\begin{array}{c}{\mu }_a\\ {\mu }_b\end{array}\right],\sum =\left[\begin{array}{cc}{\sum }_{aa}& {\sum }_{ab}\\ {\sum }_{ba}& {\sum }_{bb}\end{array}\right]$, 求$P(x_a),P(x_b|x_a).$
解：$x_a=\left[\begin{array}{cc}{I}_m& 0\end{array}\right]\left[\begin{array}{c}{x}_a\\ x_b\end{array}\right]$,利用上面的结论可以得出：$E(x_a)=\left[\begin{array}{cc}{I}_m& 0\end{array}\right]\left[\begin{array}{c}{\mu }_a\\ {\mu }_b\end{array}\right]={\mu }_a$,$Var(x_a)=\left[\begin{array}{cc}{I}_m& 0\end{array}\right]\sum \left[\begin{array}{c}{I}_m\\ 0\end{array}\right]={\sum }_{aa}$。
所以我们就得到了$x_a\sim N({\mu }_a,{\sum }_{aa})$。下面求$P(x_b|x_a)$,
为了求$P(x_b|x_a)$，我们先引入一个变量$x_u=x_b-{\sum }_{ba}{\sum }_{aa}^{-1}{x}_a$, ${\mu }_u={\mu }_b-{\sum }_{ba}{\sum }_{aa}^{-1}{\mu }_a,{\sum }_u={\sum }_{bb}-{\sum }_{ba}{\sum }_{aa}^{-1}{\sum }_{ab}$,利用上面结论很容易验证$x_u\sim N({\mu }_u,{\sum }_u)$。所以我们有：
$x_b=x_u+{\sum }_{ba}{\sum }_{aa}^{-1}{x}_a$。所以$E[x_b|x_a]={\mu }_u+{\sum }_{ba}{\sum }_{aa}^{-1}{x}_a,Var(x_b|x_a)=Var(x_u)={\sum }_u$,故$x_b|x_a\sim N({\mu }_u+{\sum }_{ba}{\sum }_{aa}^{-1}{x}_a,{\sum }_u)$。
至此我们已经求出了边缘概率和条件概率。下面继续求联合概率，
对于联合概率我们问题需要变化一下

已知，$p(x)=N(x|\mu ,{\Lambda }^{-1}),p(y|x)=N(y|Ax+b,L^{-1})$,求$p(y),p(x|y)$.
上面$y$是与$x$的分布相关，但有噪声，所以我们将其转化一下：
$$y=Ax+b+\epsilon ,\epsilon \sim N(0,L^{-1})$$,
所以$E[y]=E[Ax+b+\epsilon ]=E[Ax+b]+E[\epsilon ]=A\mu +b$,$Var[y]=Var[Ax+b+\epsilon ]=Var[Ax+b]+Var[\epsilon ]=A{\Lambda }^{-1}{A}^{\top }+L^{-1}$,
所以，$y\sim N(A\mu +b,A{\Lambda }^{-1}{A}^{\top }+L^{-1})$。
为了求第二个条件概率我们先求其联合概率，令$z=\left[\begin{array}{c}x\\ y\end{array}\right]$
$$E[z]=\left[\begin{array}{c}\mu \\ A\mu +b\end{array}\right]$$$$Var(z)=\left[\begin{array}{cc}{\Lambda }^{-1}& \Delta \\ \Delta & A{\Lambda }^{-1}{A}^{\top }+L^{-1}\end{array}\right]$$
其中$\Delta$是$x$和$y$的协方差$Cov(x,y)={\Lambda }^{-1}{A}^{\top }$(这里偷个懒不写啦，下图有推导过程)。所以我们求出了联合概率$x\sim N(E[z],Var(z))$，就可根据上面的条件概率公式求出$(p(x|y))$了。
至此，我们求出了高斯分布下的两个变量的所有条件概率和边缘概率情况，还给出了联合概率的求法，前提是两个变量要有一定的线性关系。

（水平有限，如有错误,麻烦批评指正）

图来源于b站up主shuhuai008的板书，写的真的好棒