高斯分布的极大似然估计、多维高斯分布

1 高斯分布

        这部分内容主要借鉴自机器学习-白板推导系列笔记（二）-数学基础。这里先假设我们拿到一堆数据，如下所示：
$$Data：X\text{X}X=[{x\text{x}x}_1,{x\text{x}x}_2,\cdots ,{x\text{x}x}_n{]}_{n\times p}^T={\left[\begin{array}{c}{x\text{x}x}_1^T\\ {x\text{x}x}_2^T\\ ⋮\\ {x\text{x}x}_n^T\end{array}\right]}_{n\times p}={\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1p}\\ x_{21}& x_{22}& \cdots & x_{2p}\\ ⋮& ⋮& ⋮& ⋮\\ x_{n1}& x_{n2}& \cdots & x_{np}\end{array}\right]}_{n\times p}\text{\hspace{1em}(1-1)}$$

        其中，$x_i=(x_{i1},x_{i2},\cdots ,x_{ip}{)}^T\in {\mathbb{R}}^p，x_i\stackrel{iid}{\sim }N({\mu }_i,{\sigma }_i^2)，\theta \text{θ}\theta =(\mathbf{\mu },\mathbf{\Sigma })$，$iid$ 表示独立同分布。

        假设数据 $X\text{X}X$ 中有 $n$ 个样本，每个样本 ${x\text{x}x}_i$ 为 $p$ 维数据（含有 $p$ 个feature），所有的样本都独立同分布于高斯分布。

        在上面的数据矩阵里，为了便于下面的推导，这里规定，${x\text{x}x}_{ij}$ 表示第 $i$ 个样本的第 $j$ 个属性，用行向量 ${x\text{x}x}_i$ 代表第 $i$ 个样本的 $p$ 维数据，当 $p=1$时，表示取出某一列（第 $j$ 列）数据进行分析，用随机变量 $X_{1j},X_{2j},\cdots ,X_{nj}$ 表示，为了方便下面的推导，可以用随机变量 $X_1,X_2,\cdots ,X_n$ 替代，取值分别是 $x_1,x_2,\cdots ,x_n$；若分析每个样本 ${x\text{x}x}_i$ 的 $p$ 维数据，为了区分，用列向量 ${y\text{y}y}_j$ 代表所有样本的第 $j$ 特征的 $n$ 维数据，用随机变量 $Y_1(\xi ),Y_2(\xi ),\cdots ,Y_p(\xi )$ 表示，此时用随机向量 $Y\text{Y}Y$ 表示。
        下面的一维情况就是每个样本 ${x\text{x}x}_i$ 为 $p=1$ 维数据（此时只对某一特征进行分析）；而多维情况就是每个样本 ${x\text{x}x}_i$ 为 $p$ 维数据（此时对所有特征进行分析）。

1.1 一维情况

1. 似然函数
        对于一维情况，即 $p=1,\theta \text{θ}\theta =[\mu ,{\sigma }^2{]}^T$，可知它的概率密度函数为：
$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2})\text{\hspace{1em}(1-2)}$$
        需要估计的参数为 $\theta \text{θ}\theta =[\mu ,\sigma {]}^T$，则对于样本 $(X_1,X_2,\cdots ,X_n{)}^T$ 的联合概率密度函数为 ${\prod }_{i=1}^{n}f(x_i;\theta )$，当给定样本值 $(x_1,x_2,\cdots ,x_n{)}^T$ 后，它只是参数 $\theta \text{θ}\theta$ 的函数，记为 $L(\theta \text{θ}\theta )$，即
$$L(\theta \text{θ}\theta )=\prod _{i=1}^{n}f(x_i;\theta \text{θ}\theta )\text{\hspace{1em}(1-3)}$$
        这个函数 $L$ 称为似然函数，即似然函数就是样本的联合概率密度函数。

2. 极大似然估计法
        频率派认为参数 $\theta \text{θ}\theta$ 是一个固定的常数（constant），频率派常用的求解方法为极大似然估计法，即先对 $L(\theta \text{θ}\theta )$ 取对数，使得后续求导计算更加方便，而 $L(\theta \text{θ}\theta )$ 与 $ln(L(\theta \text{θ}\theta ))$ 在同一 $\theta \text{θ}\theta$ 处取到极值，则
$${\theta \text{θ}\theta }_{MLE}=\underset{\mathbf{\theta }}{\mathrm{argmax}}ln(L(\theta \text{θ}\theta ))\underset{iid}{=}\underset{\mathbf{\theta }}{\mathrm{argmax}}\sum _{i=1}^n\ln f(x_i;\mathbf{\theta })\text{\hspace{1em}(1-4)}$$
        由于各样本都独立同分布于高斯分布，则
$$\begin{array}{rl}ln(L(\mathbf{\theta }))& =ln\prod _{i=1}^{n}f(x_i;\mathbf{\theta })\\ & =\sum _{i=1}^{n}ln\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x_i-\mu {)}^2}{2{\sigma }^2})\\ & =\sum _{i=1}^n[ln\frac{1}{\sqrt{2\pi }}+ln\frac{1}{\sigma }-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}]\end{array}\text{\hspace{1em}(1-5)}$$
        由于 $\theta \text{θ}\theta$ 是个二维的向量，所以分别求解 ${\mu }_{MLE}$ 和 ${\sigma }_{MLE}$
3. 求解 ${\mu }_{MLE}$
        由于常数项与优化无关故舍去，只需要保留含有 $\mu$ 的项，则
$$\begin{array}{rl}{\mu }_{MLE}& =\underset{\mu }{\mathrm{argmax}}ln(L(\mathbf{\theta }))\\ & =\underset{\mu }{\mathrm{argmax}}\sum _{i=1}^N-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}\\ & =\underset{\mu }{\mathrm{argmin}}\sum _{i=1}^N(x_i-\mu {)}^2\end{array}\text{\hspace{1em}(1-6)}$$
        接下来对其求导，找出极大值，
$$\begin{gathered} \frac{\partial {\sum }_{i=1}^N(x_i-\mu {)}^2}{\partial \mu }=\sum _{i=1}^{N}2(x_i-\mu )(-1)=0 \\ \iff \sum _{i=1}^N(x_i-\mu )=0 \\ \iff \sum _{i=1}^N{x}_i-\underset{N\mu }{\underbrace{\sum _{i=1}^N\mu }}=0\text{\hspace{1em}(1-7)} \end{gathered}$$
        最终得到：
$${\mu }_{MLE}=\frac{1}{N}\sum _{i=1}^N{x}_i\text{\hspace{1em}(1-8)}$$
        证明 ${\mu }_{MLE}$ 是无偏估计
$$E[{\mu }_{MLE}]=\frac{1}{N}\sum _{i=1}^{N}E[x_i]=\frac{1}{N}\sum _{i=1}^N\mu =\frac{1}{N}N\mu =\mu \text{\hspace{1em}(1-9)}$$

4. 求解 ${\sigma }_{MLE}$
$$\begin{array}{rl}{\sigma }_{MLE}^2& =\underset{\sigma }{\mathrm{argmax}}\sum _{i=1}^n[\ln \frac{1}{\sigma }-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}]\\ & =\underset{\sigma }{\mathrm{argmax}}\sum _{i=1}^n[-\ln \sigma -\frac{1}{2{\sigma }^2}(x_i-\mu {)}^2]\end{array}\text{\hspace{1em}(1-10)}$$
        对 $\sigma$ 求导，找出最优解
$$\begin{gathered} \frac{\partial }{\partial \sigma }\sum _{i=1}^N[-\ln \sigma -\frac{1}{2{\sigma }^2}(x_i-\mu {)}^2]=\sum _{i=1}^N[-\frac{1}{\sigma }-\frac{1}{2}(x_i-\mu {)}^2(-2)\frac{1}{{\sigma }^3}]=0 \\ \iff \sum _{i=1}^N[-\frac{1}{\sigma }+(x_i-\mu {)}^2{\sigma }^{-3}]=0 \\ \iff \sum _{i=1}^N[-{\sigma }^2+(x_i-\mu {)}^2]=0 \\ \iff -\sum _{i=1}^N{\sigma }^2+\sum _{i=1}^N(x_i-\mu {)}^2=0 \\ {\sigma }_{MLE}^2=\frac{1}{N}\sum _{i=1}^N(x_i-\mu {)}^2\text{\hspace{1em}(1-11)} \end{gathered}$$

        $\mu$ 取 ${\mu }_{MLE}$ 时，
$${\sigma }_{MLE}^2=\frac{1}{N}\sum _{i=1}^N(x_i-{\mu }_{MLE}{)}^2\text{\hspace{1em}(1-12)}$$

        要证明 ${\sigma }_{MLE}^2$ 是有偏估计，就需要判断 $E[{\sigma }_{MLE}^2]\stackrel{?}{=}{\sigma }^2$，证明如下：
$$D[{\mu }_{MLE}]=D[\frac{1}{N}\sum _{i=1}^N{x}_i]=\frac{1}{N^2}\sum _{i=1}^{N}D[x_i]=\frac{1}{N^2}\sum _{i=1}^N{\sigma }^2=\frac{{\sigma }^2}{N}\text{\hspace{1em}(1-13)}$$

$$\begin{array}{rl}{\sigma }_{MLE}^2& =\frac{1}{N}\sum _{i=1}^N(x_i-{\mu }_{MLE}{)}^2\\ & =\frac{1}{N}\sum _{i=1}^N(x_i^2-2x_i{\mu }_{MLE}+{\mu }_{MLE}^2)\\ & =\frac{1}{N}\sum _{i=1}^N{x}_i^2-\frac{1}{N}\sum _{i=1}^{N}2x_i{\mu }_{MLE}+\frac{1}{N}\sum _{i=1}^N{\mu }_{MLE}^2\\ & =\frac{1}{N}\sum _{i=1}^N{x}_i^2-2{\mu }_{MLE}^2+{\mu }_{MLE}^2\\ & =\frac{1}{N}\sum _{i=1}^N{x}_i^2-{\mu }_{MLE}^2\end{array}\text{\hspace{1em}(1-14)}$$

$$\begin{array}{rl}E[{\sigma }_{MLE}^2]& =E[\frac{1}{N}\sum _{i=1}^N{x}_i^2-{\mu }_{MLE}^2]\\ & =E[\frac{1}{N}\sum _{i=1}^N(x_i^2-{\mu }_{MLE}^2)]\\ & =\frac{1}{N}\sum _{i=1}^N(E[x_i^2]-E[{\mu }_{MLE}^2])\\ & =\frac{1}{N}\sum _{i=1}^N(D[x_i]+{E[x_i]}^2-D[{\mu }_{MLE}]-{E[{\mu }_{MLE}]}^2)\\ & =\frac{1}{N}\sum _{i=1}^N({\sigma }_{MLE}^2+{\mu }^2-\frac{{\sigma }^2}{N}-{\mu }^2)\\ & =\frac{N-1}{N}{\sigma }_{MLE}^2\end{array}\text{\hspace{1em}(1-15)}$$
        方差的无偏估计为：
$${\hat{\sigma }}^2=\frac{1}{N-1}\sum _{i=1}^N(x_i-{\mu }_{MLE}{)}^2\text{\hspace{1em}(1-16)}$$

         为什么${\mu }_{MLE}$ 是无偏估计，而 ${\sigma }_{MLE}^2$ 是有偏估计呢？
        有两种理解方式：第一种：上面的推导中，当对 ${\sigma }_{MLE}$ 求 期望的时候由于使用了单个数据集的 ${\mu }_{MLE}$，因此对所有数据集求期望的时候我们会发现 ${\sigma }_{MLE}$ 是有偏的；第二种：可以理解为当 $\mu$ 取 ${\mu }_{MLE}$ 就已经确定了所有 $x_i$ 的和等于 $n{\mu }_{MLE}$，也就是说当 $N-1$ 个 $x_i$ 确定以后，第 $N$ 个 $x_i$ 也就被确定了，所以少了一个“自由度”，因此 $E[{\sigma }_{MLE}^2]=\frac{N-1}{N}{\sigma }^2$

1.2 多维情况

        对于高维情况，即要考虑每个样本 ${x\text{x}x}_i$ 为 $p$ 维数据，此时为了和上面的区分，按上面的定义，此时随机变量为
$Y_1(\xi ),Y_2(\xi ),\cdots ,Y_p(\xi )$，而 $\theta \text{θ}\theta =[\mu \text{μ}\mu ,\Sigma \text{Σ}\Sigma {]}^T$，此时由多元正态分布的定义可知，对于 $p$ 维随机向量 $Y\text{Y}Y=[Y_1(\xi ),Y_2(\xi ),\cdots ,Y_p(\xi ){]}^T$ 的概率密度为：
$$f(y_1,y_2,\cdots ,y_p)=\frac{1}{(2\pi {)}^{p/2}|\mathbf{\Sigma }{|}^{1/2}}exp(-\frac{1}{2}\underset{二次型}{\underbrace{(\mathbf{y}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{y}-\mathbf{\mu })}})y\text{y}y\in {\mathbb{R}}^p\text{\hspace{1em}(1-17)}$$
        则称 $Y\text{Y}Y$ 服从 $p$ 维正态分布，也称 $Y\text{Y}Y$ 为 $p$ 维正态变量，记为 $\mathbf{Y}\sim N_p(\mathbf{\mu },\mathbf{\Sigma })$，其中 $\mu \text{μ}\mu$ 为 $Y\text{Y}Y$ 的均值向量，$\Sigma \text{Σ}\Sigma$ 为 $Y\text{Y}Y$ 的协方差矩阵（简称为协差阵），$\Sigma \text{Σ}\Sigma$ 是实对称矩阵，一般是半正定的，在本次证明中假设是正定的，即所有的特征值都是正的。

        设随机向量 $\mathbf{Y}$ 的分量 $Y_i$ 的均值为 $E(Y_i)={\mu }_i,i=1,2,\cdots ,p$，则定义 $\mathbf{Y}$ 的均值为
$$E(\mathbf{Y})=\left[\begin{array}{c}E{Y}_1\\ E{Y}_2\\ ⋮\\ E{Y}_p\end{array}\right]=\left[\begin{array}{c}{\mu }_1\\ {\mu }_2\\ ⋮\\ {\mu }_p\end{array}\right]=\mu \text{μ}\mu \text{\hspace{1em}(1-18)}$$
        其中 $\mu$ 是一个 $p$ 维的列向量，称为均值向量。
        而定义随机向量 $\mathbf{Y}$ 的协方差矩阵为
$$D(\mathbf{Y})=E[(\mathbf{Y}-E(\mathbf{Y}))(\mathbf{Y}-E(\mathbf{Y}){)}^T]={\left[\begin{array}{cccc}{\sigma }_{11}& {\sigma }_{12}& \cdots & {\sigma }_{1p}\\ {\sigma }_{21}& {\sigma }_{22}& \cdots & {\sigma }_{2p}\\ ⋮& ⋮& & ⋮\\ {\sigma }_{p1}& {\sigma }_{p2}& \cdots & {\sigma }_{pp}\end{array}\right]}_{p\times p}\stackrel{def}{=}\mathbf{\Sigma }\text{\hspace{1em}(1-19)}$$

        其中，${\sigma }_{ij}=E[(Y_i-E{Y}_i)(Y_j-E{Y}_j)],i,j=1,2,\cdots ,p$

        下面简单推导一下 $p$ 维正态分布。考虑最简单的情况，在各元素相互统计独立的条件下，高斯随机向量的概率密度函数是向量的 $p$ 个随机变量的联合概率密度函数：
$$\begin{array}{rl}f(y\text{y}y)=f(y_1,\cdots ,y_p)& =f(y_1)\cdots f(y_p)\\ & =\frac{1}{\sqrt{2\pi {\sigma }_1^2}}exp(-\frac{(y_1-{\bar{y}}_1{)}^2}{2{\sigma }_1^2})\cdots \frac{1}{\sqrt{2\pi }{\sigma }_p^2}exp(-\frac{(y_p-{\bar{y}}_p{)}^2}{2{\sigma }_p^2})\\ & =\frac{1}{{\sqrt{2\pi }}^{p/2}{\sigma }_1\cdots {\sigma }_p}exp(-\frac{(y_1-{\bar{y}}_1{)}^2}{2{\sigma }_1^2}-\cdots -\frac{(y_p-{\bar{y}}_p{)}^2}{2{\sigma }_p^2})\\ & =\frac{1}{{\sqrt{2\pi }}^{p/2}|\Sigma {|}^{1/2}}exp(-\frac{1}{2}[y_1-{\bar{y}}_1,\cdots ,y_p-{\bar{y}}_p]\left[\begin{array}{ccc}{\sigma }_1^{-2}& 0& 0\\ & & \\ 0& \ddots & 0\\ & & \\ 0& 0& {\sigma }_p^{-2}\end{array}\right]\left[\begin{array}{c}{y}_1-{\bar{y}}_1\\ ⋮\\ y_p-{\bar{y}}_p\end{array}\right])\end{array}\text{\hspace{1em}(1-20)}$$
        整理后，即可得到各元素统计独立的高斯随机向量 $\mathbf{Y}\sim N_p(\mathbf{\mu },\mathbf{\Sigma })$ 的概率密度函数为
$$f(y\text{y}y)=\frac{1}{(2\pi {)}^{p/2}|\mathbf{\Sigma }{|}^{1/2}}exp(-\frac{1}{2}(\mathbf{y}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{y}-\mathbf{\mu }))\text{\hspace{1em}(1-21)}$$

        若元素之间不相互统计独立，则高斯随机向量 $\mathbf{Y}\sim N_p(\mathbf{\mu },\mathbf{\Sigma })$ 的概率密度函数仍然由式（1-21）给出，但指数项为：
$$(\mathbf{y}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{y}-\mathbf{\mu })=\sum _{i=1}^p\sum _{j=1}^p[{\mathbf{\Sigma }}^{-1}{]}_{i,j}(y_i-{\mu }_i)(y_j-{\mu }_j)\text{\hspace{1em}(1-22)}$$
        式子中，$[{\mathbf{\Sigma }}^{-1}{]}_{i,j}$ 表示逆矩阵 ${\mathbf{\Sigma }}^{-1}$ 的 $(i,j)$ 元素。

        通过矩阵和向量的乘法，我们可以知道 $(\mathbf{y}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{y}-\mathbf{\mu }))$ 是一个数，熟悉距离概念的小伙伴，会马上意识到这不就是在计算两个向量 $y\text{y}y$ 和 $\mu \text{μ}\mu$ 之间的马氏距离，当 $\Sigma \text{Σ}\Sigma$ 为 $I\text{I}I$ 时马氏距离即为欧氏距离。

1.3 从概率密度函数角度观察

1. 协方差矩阵的特征值分解
           由前面的推导，我们知道高斯随机向量 $\mathbf{Y}\sim N_p(\mathbf{\mu },\mathbf{\Sigma })$，协方差矩阵 $\mathbf{\Sigma }$ 为正定实对称矩阵。而在矩阵论，我们知道任意的 $N\times N$ 实对称矩阵都有 $N$ 个线性无关的特征向量。并且这些特征向量都可以正交单位化而得到一组正交且模为1 的向量。故实对称矩阵 $\mathbf{\Sigma }$ 可被分解成 $\mathbf{\Sigma }=\mathbf{U}\mathbf{\Lambda }{\mathbf{U}}^T$。
   $$\begin{array}{rl}\mathbf{\Sigma }& =\mathbf{U}\mathbf{\Lambda }{\mathbf{U}}^T\\ & =({\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_{\mathbf{p}})\left(\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & ⋮\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_p\end{array}\right)\left(\begin{array}{c}{{\mathbf{u}}_1}^T\\ {{\mathbf{u}}_2}^T\\ ⋮\\ {{\mathbf{u}}_{\mathbf{p}}}^T\end{array}\right)\\ & =({\mathbf{u}}_1{\lambda }_1,{\mathbf{u}}_2{\lambda }_2,\cdots ,{\mathbf{u}}_{\mathbf{p}}{\lambda }_p)\left(\begin{array}{c}{{\mathbf{u}}_1}^T\\ {{\mathbf{u}}_2}^T\\ ⋮\\ {{\mathbf{u}}_{\mathbf{p}}}^T\end{array}\right)\\ & =\sum _{i=1}^p{\mathbf{u}}_{\mathbf{i}}{\lambda }_i{{\mathbf{u}}_{\mathbf{i}}}^T\end{array}\text{\hspace{1em}(1-23)}$$
   则 ${\mathbf{\Sigma }}^{-1}$ 的结果如下，这里特征向量矩阵 $\mathbf{U}$ 是正交的，因此 ${\mathbf{U}}^T={\mathbf{U}}^{-1}$。

$${\mathbf{\Sigma }}^{-1}=(\mathbf{U}\mathbf{\Lambda }{\mathbf{U}}^T{)}^{-1}=({\mathbf{U}}^T{)}^{-1}{\mathbf{\Lambda }}^{-1}{\mathbf{U}}^{-1}={\mathbf{U}\mathbf{\Lambda }}^{-1}{\mathbf{U}}^T=\sum _{i=1}^p{\mathbf{u}}_{\mathbf{i}}\frac{1}{{\lambda }_i}{{\mathbf{u}}_{\mathbf{i}}}^T\text{\hspace{1em}(1-24)}$$
        其中，${\Lambda }^{-1}=diag(\frac{1}{{\lambda }_i}),i=1,2,\cdots ,p$
        把上面的结果带入 $(\mathbf{y}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{y}-\mathbf{\mu }))$，下面的内容就是化成标准二次型，

$$\begin{array}{rl}\Delta & =(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\\ & =(\mathbf{x}-\mathbf{\mu }{)}^T\sum _{i=1}^p{\mathbf{u}}_i\frac{1}{{\lambda }_i}{\mathbf{u}}_i^T(\mathbf{x}-\mathbf{\mu })\\ & =\sum _{i=1}^p(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{u}}_i\frac{1}{{\lambda }_i}{\mathbf{u}}_i^T(x-\mu )\\ & (令y_i=(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{u}}_i)，此时y_i变为了一个标量，这一步很巧妙\\ & =\sum _{i=1}^p{y}_i\frac{1}{{\lambda }_i}{y}_i^T\\ & =\sum _{i=1}^p\frac{y_i^2}{{\lambda }_i}\end{array}\text{\hspace{1em}(1-25)}$$

        上式中 $y_i=(x-\mu {)}^T{u}_i$ 可以理解为将 $x$ 减去均值进行中心化以后再投影到 $u_i$ 方向上，相当于做了一次坐标轴变换。

        当 $x$ 的维度为2，即 $p=2$ 时 $\Delta =\frac{y_1^2}{{\lambda }_1}+\frac{y_2^2}{{\lambda }_2}$，得到类似椭圆方程的等式，所以也就可以解释为什么其等高线是椭圆形状。

1.4 高斯分布的局限性

1. 参数过多
        协方差矩阵 ${\Sigma \text{Σ}\Sigma }_{p\times p}$ 中的参数共有 $1+2+\cdots +p=\frac{p(p+1)}{2}$ 个 （${\Sigma \text{Σ}\Sigma }_{p\times p}$ 是对称矩阵），因此当 $x\text{x}x$ 的维度 $p$ 很大时，高斯分布的参数就会有很多，其计算复杂度为 $O(p^2)$。
        可以通过假设高斯分布的协方差矩阵为对角矩阵来减少参数，当高斯分布的协方差矩阵为对角矩阵时，特征向量的方向就会和原坐标轴的方向平行，因此高斯分布的等高线（同心椭圆）就不会倾斜。

        另外如果在高斯分布的协方差矩阵为对角矩阵为对角矩阵的基础上使得其特征值全部相等（即 ${\lambda }_1={\lambda }_2=\cdots ={\lambda }_i$ ），则高斯分布的等高线就会成为一个圆形，而且不会倾斜，称为各向同性。

2. 单个高斯分布拟合能力有限

        单个高斯分布是单峰的，对有多个峰的数据分布不能得到好的结果。解决方案：高斯混合GMM 模型。

1.5 已知联合概率求边缘概率及条件概率

1. 将随机向量、均值和方差进行划分

        将 $y\text{y}y$ 分为两部分，一部分为 $a$ 维 ${y\text{y}y}_a$，一部分为 $b$ 维 ${y\text{y}y}_b$，$\mu \text{μ}\mu$ 和 $\Sigma \text{Σ}\Sigma$ 同理，则

$$y\text{y}y=\left(\begin{array}{c}{y\text{y}y}_a\\ {y\text{y}y}_b\end{array}\right)\mu \text{μ}\mu =\left(\begin{array}{c}{\mu \text{μ}\mu }_a\\ {\mu \text{μ}\mu }_b\end{array}\right)\Sigma \text{Σ}\Sigma =\left(\begin{array}{cc}{\Sigma \text{Σ}\Sigma }_{aa}& {\Sigma \text{Σ}\Sigma }_{ab}\\ {\Sigma \text{Σ}\Sigma }_{ba}& {\Sigma \text{Σ}\Sigma }_{bb}\end{array}\right)(a+b=p)\text{\hspace{1em}(1-26)}$$

        将 $y\text{y}y$ 看为 ${y\text{y}y}_a$ 和 ${y\text{y}y}_b$ 的联合概率分布，求 $P({y\text{y}y}_a)，P({y\text{y}y}_b|{y\text{y}y}_a)$，同理可由对称性得知 $P({y\text{y}y}_b)，P({y\text{y}y}_a|{y\text{y}y}_b)$，通用方法配方法，详细过程可以参考《Pattern Recognition and Machine Learning》，这里使用另外一种简便方法。

        先引入一个常用定理，就是均值向量和协方差矩阵的性质，即
        已知：
$$\begin{gathered} Y\text{Y}Y\sim N(\mu \text{μ}\mu ,\Sigma \text{Σ}\Sigma ),y\text{y}y\in {\mathbb{R}}^p \\ Z\text{Z}Z=AY\text{AY}AY+B\text{B}B,z\text{z}z\in {\mathbb{R}}^q\text{\hspace{1em}(1-27)} \end{gathered}$$
        结论：
$$Z\text{Z}Z\sim N(A\mu \text{Aμ}A\mu +B\text{B}B,{A\Sigma A\text{AΣA}A\Sigma A}^T)\text{\hspace{1em}(1-28)}$$
        一个简单但不严谨的证明（就是利用我们熟悉的期望和方差的性质）：
$$\begin{gathered} E[Z\text{Z}Z]=E[AY\text{AY}AY+B\text{B}B]=A\text{A}AE[Y\text{Y}Y]+B\text{B}B=A\mu \text{Aμ}A\mu +B\text{B}B \\ \begin{array}{rl}D[Z\text{Z}Z]& =D[AY\text{AY}AY+B\text{B}B]\\ & =D[AY\text{AY}AY]+D[B\text{B}B]\\ & =A\text{A}AD[Y\text{Y}Y]{A\text{A}A}^T+0\\ & ={A\Sigma A\text{AΣA}A\Sigma A}^T\end{array}\text{\hspace{1em}(1-29)} \end{gathered}$$

2. 求边缘概率 $P({y\text{y}y}_a)$

        令 ${y\text{y}y}_a=\underset{\mathbf{A}}{\underbrace{\left(\begin{array}{cc}{I\text{I}I}_m& {0\text{0}0}_n\end{array}\right)}}\underset{\mathbf{y}}{\underbrace{\left(\begin{array}{c}{y\text{y}y}_a\\ {y\text{y}y}_b\end{array}\right)}}+\underset{\mathbf{B}}{\underbrace{0}}$

        使用上述定理的结论，则：
$$E[{y\text{y}y}_a]=A\mu \text{Aμ}A\mu +B\text{B}B=\left(\begin{array}{cc}{I\text{I}I}_m& 0\end{array}\right)\left(\begin{array}{c}{\mu \text{μ}\mu }_a\\ {\mu \text{μ}\mu }_b\end{array}\right)+0={\mu \text{μ}\mu }_a\text{\hspace{1em}(1-30)}$$

$$D[{\mathbf{y}}_a]={\mathbf{A}\mathbf{\Sigma }\mathbf{A}}^T=\left(\begin{array}{cc}{\mathbf{I}}_m& 0\end{array}\right)\left(\begin{array}{cc}{\mathbf{\Sigma }}_{aa}& {\mathbf{\Sigma }}_{ab}\\ {\mathbf{\Sigma }}_{ba}& {\mathbf{\Sigma }}_{bb}\end{array}\right)\left(\begin{array}{c}{\mathbf{I}}_m\\ 0\end{array}\right)=\left(\begin{array}{cc}{\mathbf{\Sigma }}_{aa}& {\mathbf{\Sigma }}_{ab}\end{array}\right)\left(\begin{array}{c}{\mathbf{I}}_m\\ 0\end{array}\right)={\mathbf{\Sigma }}_{aa}\text{\hspace{1em}(1-31)}$$
        所以 ${\mathbf{y}}_a\sim N({\mathbf{\mu }}_a,{\mathbf{\Sigma }}_{aa})$，同理 ${\mathbf{y}}_b\sim N({\mathbf{\mu }}_b,{\mathbf{\Sigma }}_{bb})$

3. 求条件概率 $P({y\text{y}y}_b|{y\text{y}y}_a)$

        构造 $\{\begin{array}{l}{y\text{y}y}_{b\cdot a}={y\text{y}y}_b-{\Sigma \text{Σ}\Sigma }_{ba}{\Sigma \text{Σ}\Sigma }_{aa}^{-1}{y\text{y}y}_a\\ {\mu \text{μ}\mu }_{b\cdot a}={\mu \text{μ}\mu }_b-{\Sigma \text{Σ}\Sigma }_{ba}{\Sigma \text{Σ}\Sigma }_{aa}^{-1}{\mu \text{μ}\mu }_a\\ {\Sigma \text{Σ}\Sigma }_{bb\cdot a}={\Sigma \text{Σ}\Sigma }_{bb}-{\Sigma \text{Σ}\Sigma }_{ba}{\Sigma \text{Σ}\Sigma }_{aa}^{-1}{\Sigma \text{Σ}\Sigma }_{ab}\end{array}$

        这里 ${\Sigma \text{Σ}\Sigma }_{bb\cdot a}$ 是 ${\Sigma \text{Σ}\Sigma }_{bb}$ 的 Schur Complementary

        ${y\text{y}y}_{b\cdot a}$ 是 ${y\text{y}y}_b$ 与 ${y\text{y}y}_a$ 的线性组合，故其服从高斯分布
（1）求 ${\Sigma \text{Σ}\Sigma }_{bb\cdot a}$ 的概率分布函数
        先对 ${\Sigma \text{Σ}\Sigma }_{bb\cdot a}$ 进行变换，使其能够应用上述定理直接得出结果
$${y\text{y}y}_{b\cdot a}=\underset{\mathbf{A}}{\underbrace{\left(\begin{array}{cc}-{\Sigma \text{Σ}\Sigma }_{ba}{\Sigma \text{Σ}\Sigma }_{aa}^{-1}& I\text{I}I\end{array}\right)}}\underset{\mathbf{y}}{\underbrace{\left(\begin{array}{c}{y\text{y}y}_a\\ {y\text{y}y}_b\end{array}\right)}}\text{\hspace{1em}(1-32)}$$

        使用上述定理得：
$$E[{y\text{y}y}_{b\cdot a}]=\left(\begin{array}{cc}-{\Sigma \text{Σ}\Sigma }_{ba}{\Sigma \text{Σ}\Sigma }_{aa}^{-1}& I\text{I}I\end{array}\right)\left(\begin{array}{c}{\mu \text{μ}\mu }_a\\ {\mu \text{μ}\mu }_b\end{array}\right)={\mu \text{μ}\mu }_b-{\Sigma \text{Σ}\Sigma }_{ba}{\Sigma \text{Σ}\Sigma }_{aa}^{-1}{\mu \text{μ}\mu }_a={\mu \text{μ}\mu }_{b\cdot a}\text{\hspace{1em}(1-33)}$$

$$\begin{array}{rl}D[{y\text{y}y}_{b\cdot a}]& =\left(\begin{array}{cc}-{\Sigma \text{Σ}\Sigma }_{ba}{\Sigma \text{Σ}\Sigma }_{aa}^{-1}& I\text{I}I\end{array}\right)\left(\begin{array}{cc}{\Sigma \text{Σ}\Sigma }_{aa}& {\Sigma \text{Σ}\Sigma }_{ab}\\ {\Sigma \text{Σ}\Sigma }_{ba}& {\Sigma \text{Σ}\Sigma }_{bb}\end{array}\right)\left(\begin{array}{c}-{\Sigma \text{Σ}\Sigma }_{ba}{\Sigma \text{Σ}\Sigma }_{aa}^{-1}\\ I\text{I}I\end{array}\right)\\ & =\left(\begin{array}{cc}{\Sigma \text{Σ}\Sigma }_{ba}-{\Sigma \text{Σ}\Sigma }_{ba}{\Sigma \text{Σ}\Sigma }_{aa}^{-1}{\Sigma \text{Σ}\Sigma }_{aa}& {\Sigma \text{Σ}\Sigma }_{bb}-{\Sigma \text{Σ}\Sigma }_{ba}{\Sigma \text{Σ}\Sigma }_{aa}^{-1}{\Sigma \text{Σ}\Sigma }_{ab}\end{array}\right)\left(\begin{array}{c}-{\Sigma \text{Σ}\Sigma }_{ba}{\Sigma \text{Σ}\Sigma }_{aa}^{-1}\\ I\text{I}I\end{array}\right)\\ & =\left(\begin{array}{cc}0\text{0}0& {\Sigma \text{Σ}\Sigma }_{bb}-{\Sigma \text{Σ}\Sigma }_{ba}{\Sigma \text{Σ}\Sigma }_{aa}^{-1}{\Sigma \text{Σ}\Sigma }_{ab}\end{array}\right)\left(\begin{array}{c}-{\Sigma \text{Σ}\Sigma }_{ba}{\Sigma \text{Σ}\Sigma }_{aa}^{-1}\\ I\text{I}I\end{array}\right)\\ & ={\Sigma \text{Σ}\Sigma }_{bb}-{\Sigma \text{Σ}\Sigma }_{ba}{\Sigma \text{Σ}\Sigma }_{aa}^{-1}{\Sigma \text{Σ}\Sigma }_{ab}\\ & ={\Sigma \text{Σ}\Sigma }_{bb\cdot a}\end{array}\text{\hspace{1em}(1-34)}$$

        因此可以得到 ${y\text{y}y}_{b\cdot a}\sim N({\mu \text{μ}\mu }_{b\cdot a},{\Sigma \text{Σ}\Sigma }_{bb\cdot a})$。根据 ${y\text{y}y}_b$ 与 ${y\text{y}y}_{b\cdot a}$ 的关系可以得到 ${y\text{y}y}_b|{y\text{y}y}_a$ 的分布：
        由第一个引入的量可以得到：
$${y\text{y}y}_b=\underset{\mathbf{y}}{\underbrace{{y\text{y}y}_{b\cdot a}}}+\underset{\mathbf{B}}{\underbrace{{\Sigma \text{Σ}\Sigma }_{ba}{\Sigma \text{Σ}\Sigma }_{aa}^{-1}{y\text{y}y}_a}}\text{\hspace{1em}(1-35)}$$

         在求条件概率 $P({y\text{y}y}_b|{y\text{y}y}_a)$ 时 ${y\text{y}y}_a$ 对于 ${y\text{y}y}_b$ 来说可以看做已知，因此上式中 ${\Sigma \text{Σ}\Sigma }_{ba}{\Sigma \text{Σ}\Sigma }_{aa}^{-1}{y\text{y}y}_a$ 看做常量 $B\text{B}B$。下面直接使用 ${y\text{y}y}_b$ 的表达式计算 ${y\text{y}y}_b|{y\text{y}y}_a$ ，原因是条件概率的含义为在已知 ${y\text{y}y}_a$ 的条件下求 ${y\text{y}y}_b$ 的概率，因此这里假设 ${y\text{y}y}_a$ 已知，作为常量处理了。

        此处同样利用上述定理，可以求得：
$$\begin{gathered} E[{y\text{y}y}_b|{y\text{y}y}_a]={\mu \text{μ}\mu }_{b\cdot a}+{\Sigma \text{Σ}\Sigma }_{ba}{\Sigma \text{Σ}\Sigma }_{aa}^{-1}{y\text{y}y}_a \\ D[{y\text{y}y}_b|{y\text{y}y}_a]=D[{y\text{y}y}_{b\cdot a}]={\Sigma \text{Σ}\Sigma }_{bb\cdot a}\text{\hspace{1em}(1-36)} \end{gathered}$$
        因此 ${y\text{y}y}_b|{y\text{y}y}_a\sim N({\mu \text{μ}\mu }_{b\cdot a}+{\Sigma \text{Σ}\Sigma }_{ba}{\Sigma \text{Σ}\Sigma }_{aa}^{-1}{y\text{y}y}_a,{\Sigma \text{Σ}\Sigma }_{bb\cdot a})$

        利用对称性求另外两个量
$${y\text{y}y}_b\sim N({\mu \text{μ}\mu }_b,{\Sigma \text{Σ}\Sigma }_{bb})\text{\hspace{1em}(1-37)}$$
$${y\text{y}y}_a|{y\text{y}y}_b\sim N({\mu \text{μ}\mu }_{a\cdot b}+{\Sigma \text{Σ}\Sigma }_{ab}{\Sigma \text{Σ}\Sigma }_{bb}^{-1}{x}_b,{\Sigma \text{Σ}\Sigma }_{aa\cdot b})\text{\hspace{1em}(1-38)}$$

1.6 已知边缘和条件概率求联合概率分布

        上一节是已知一个多维高斯分布的联合概率，求其边缘概率分布及条件概率分布。而本节是已知
$$\{\begin{array}{l}y\text{y}y\sim N(\mu \text{μ}\mu ,{\Lambda \text{Λ}\Lambda }^{-1})\\ \\ z\text{z}z|y\text{y}y\sim N(Ay\text{Ay}Ay+b\text{b}b,{L\text{L}L}^{-1})\end{array}\text{\hspace{1em}(1-39)}$$
         其中，${\Lambda \text{Λ}\Lambda }^{-1}、{L\text{L}L}^{-1}$ 是精度矩阵（precision matrix），即 $precisionmatrix=(convariancematrix{)}^{-1}$

        这部分内容依然可以使用配方法推导，详细过程可以参考《Pattern Recognition and Machine Learning》，下面我们还采用构造性证明。

1. 求解 $P(z\text{z}z)$
        上面的式子，我们知道 $z\text{z}z$ 与 $y\text{y}y$ 有线性关系 $z\text{z}z=Ay\text{Ay}Ay+b\text{b}b$，即 $z\text{z}z$ 与 $y\text{y}y$ 的关系为线性高斯模型，则 $z\text{z}z$ 与 $y\text{y}y$ 符合下述关系：
$$z\text{z}z=Ay\text{Ay}Ay+b\text{b}b+ϵ\text{ϵ}ϵ\text{\hspace{1em}(1-40)}$$
        其中，$y\text{y}y、z\text{z}z、ϵ\text{ϵ}ϵ$ 都是随机变量，$ϵ\text{ϵ}ϵ\sim N(0,{L\text{L}L}^{-1})$ 且与 $y\text{y}y$ 独立。
        所以，
$$\begin{gathered} E[z\text{z}z]=E[Ay\text{Ay}Ay+b\text{b}b+ϵ\text{ϵ}ϵ]=A\text{A}AE[y\text{y}y]+b\text{b}b+E[ϵ\text{ϵ}ϵ]=A\mu \text{Aμ}A\mu +b\text{b}b \\ D[z\text{z}z]=D[Ay\text{Ay}Ay+b\text{b}b+ϵ\text{ϵ}ϵ]=D[Ay\text{Ay}Ay+b\text{b}b]+D[ϵ\text{ϵ}ϵ]\text{\hspace{1em}(1-41)} \end{gathered}$$
        利用式子（1-28）的结论可以求得：$D[Ay\text{Ay}Ay+b\text{b}b]=A\text{A}AD[y\text{y}y]{A\text{A}A}^T=A\text{A}A{\Lambda \text{Λ}\Lambda }^{-1}{A\text{A}A}^T$
        因此：$D[z\text{z}z]={A\Lambda \text{AΛ}A\Lambda }^{-1}{A\text{A}A}^T+{L\text{L}L}^{-1}$
        所以：
$$z\text{z}z\sim N(A\mu \text{Aμ}A\mu +b\text{b}b,{A\Lambda \text{AΛ}A\Lambda }^{-1}{A\text{A}A}^T+{L\text{L}L}^{-1})\text{\hspace{1em}(1-42)}$$

2. 求解 $P(y\text{y}y|z\text{z}z)$
        对于此问题，可以使用上一节的结论进行求解，即先求出联合概率分布，再求此条件概率
        构造 $w\text{w}w=\left(\begin{array}{c}y\text{y}y\\ z\text{z}z\end{array}\right)$，则可以得到：
$$\begin{array}{rl}E[w\text{w}w]& =\left(\begin{array}{c}\mu \text{μ}\mu \\ A\mu \text{Aμ}A\mu +b\text{b}b\end{array}\right)\\ & \\ D[w\text{w}w]& =\left(\begin{array}{cc}cov(y\text{y}y,y\text{y}y)& cov(y\text{y}y,z\text{z}z)\\ cov(z\text{z}z,y\text{y}y)& cov(z\text{z}z,z\text{z}z)\end{array}\right)=\left(\begin{array}{cc}{\Lambda \text{Λ}\Lambda }^{-1}& cov(y\text{y}y,z\text{z}z)\\ cov(z\text{z}z,y\text{y}y)& {L\text{L}L}^{-1}+{A\Lambda \text{AΛ}A\Lambda }^{-1}{A\text{A}A}^T\end{array}\right)\end{array}\text{\hspace{1em}(1-43)}$$
        其中
$$\begin{array}{rl}cov(y\text{y}y,z\text{z}z)& =E[(y\text{y}y-E[y\text{y}y])\cdot (z\text{z}z-E[z\text{z}z]{)}^T]\\ & =E[(y\text{y}y-\mu \text{μ}\mu )\cdot (Ay\text{Ay}Ay+b\text{b}b+ϵ\text{ϵ}ϵ-A\mu \text{Aμ}A\mu -b\text{b}b{)}^T]\\ & =E[(y\text{y}y-\mu \text{μ}\mu )\cdot (Ay\text{Ay}Ay-A\mu \text{Aμ}A\mu +ϵ\text{ϵ}ϵ{)}^T]\\ & =E[(y\text{y}y-\mu \text{μ}\mu )\cdot (Ay\text{Ay}Ay-A\mu \text{Aμ}A\mu {)}^T+(y\text{y}y-\mu \text{μ}\mu )\cdot {ϵ\text{ϵ}ϵ}^T]\\ & =E[(y\text{y}y-\mu \text{μ}\mu )(y\text{y}y-\mu \text{μ}\mu {)}^T{A\text{A}A}^T]+E[(y\text{y}y-\mu \text{μ}\mu ){ϵ\text{ϵ}ϵ}^T]\end{array}\text{\hspace{1em}(1-44)}$$
        因为 $y\text{y}y$ 与 $ϵ\text{ϵ}ϵ$ 独立，所以 $y\text{y}y-\mu \text{μ}\mu$ 与 $ϵ\text{ϵ}ϵ$ 独立，因此
$$E[(y\text{y}y-\mu \text{μ}\mu ){ϵ\text{ϵ}ϵ}^T]=E[y\text{y}y-\mu \text{μ}\mu ]\cdot E[{ϵ\text{ϵ}ϵ}^T]=(E[y\text{y}y]-\mu \text{μ}\mu )E[{ϵ\text{ϵ}ϵ}^T]=0\text{\hspace{1em}(1-45)}$$
        所以，
$$\begin{array}{rl}cov(y\text{y}y,z\text{z}z)& =E[(y\text{y}y-\mu \text{μ}\mu )(y\text{y}y-\mu \text{μ}\mu {)}^T{A\text{A}A}^T]\\ & =E[(y\text{y}y-\mu \text{μ}\mu )(y\text{y}y-\mu \text{μ}\mu {)}^T]{A\text{A}A}^T\\ & =D[y\text{y}y]{A\text{A}A}^T\\ & ={\Lambda \text{Λ}\Lambda }^{-1}{A\text{A}A}^T\end{array}\text{\hspace{1em}(1-46)}$$
        由对称性得：$cov(z\text{z}z,y\text{y}y)=A\text{A}A{\Lambda \text{Λ}\Lambda }^{-1}$
        因此，
$$D[z\text{z}z]=\left(\begin{array}{cc}{\Lambda \text{Λ}\Lambda }^{-1}& {\Lambda \text{Λ}\Lambda }^{-1}{A\text{A}A}^T\\ A\text{A}A{\Lambda \text{Λ}\Lambda }^{-1}& {L\text{L}L}^{-1}+A\text{A}A{\Lambda \text{Λ}\Lambda }^{-1}{A\text{A}A}^T\end{array}\right)\text{\hspace{1em}(1-47)}$$
        所以，
$$z\text{z}z\sim N(\left(\begin{array}{c}\mu \text{μ}\mu \\ A\mu \text{Aμ}A\mu +b\text{b}b\end{array}\right),\left(\begin{array}{cc}{\Lambda \text{Λ}\Lambda }^{-1}& {\Lambda \text{Λ}\Lambda }^{-1}{A\text{A}A}^T\\ {A\Lambda \text{AΛ}A\Lambda }^{-1}& {L\text{L}L}^{-1}+{A\Lambda \text{AΛ}A\Lambda }^{-1}{A\text{A}A}^T\end{array}\right))\text{\hspace{1em}(1-48)}$$

        使用上节式子（1-38）的结论，可以得到：
$$\begin{gathered} E[y\text{y}y|z\text{z}z]=\mu \text{μ}\mu +{\Lambda \text{Λ}\Lambda }^{-1}{A\text{A}A}^T({L\text{L}L}^{-1}+{A\Lambda \text{AΛ}A\Lambda }^{-1}{A\text{A}A}^T{)}^{-1}(z\text{z}z-A\mu \text{Aμ}A\mu -b\text{b}b) \\ D[y\text{y}y|z\text{z}z]={\Lambda \text{Λ}\Lambda }^{-1}-{\Lambda \text{Λ}\Lambda }^{-1}{A\text{A}A}^T({L\text{L}L}^{-1}+{A\Lambda \text{AΛ}A\Lambda }^{-1}{A\text{A}A}^T{)}^{-1}{A\Lambda \text{AΛ}A\Lambda }^{-1}\text{\hspace{1em}(1-49)} \end{gathered}$$
        因此，得到最终结果：
$$y\text{y}y|z\text{z}z\sim N(\mu \text{μ}\mu +{\Lambda \text{Λ}\Lambda }^{-1}{A\text{A}A}^T({L\text{L}L}^{-1}+{A\Lambda \text{AΛ}A\Lambda }^{-1}{A\text{A}A}^T{)}^{-1}(z\text{z}z-A\mu \text{Aμ}A\mu -b\text{b}b),{\Lambda \text{Λ}\Lambda }^{-1}-{\Lambda \text{Λ}\Lambda }^{-1}{A\text{A}A}^T({L\text{L}L}^{-1}+{A\Lambda \text{AΛ}A\Lambda }^{-1}{A\text{A}A}^T{)}^{-1}{A\Lambda \text{AΛ}A\Lambda }^{-1})\text{\hspace{1em}(1-50)}$$

---

参考

• 机器学习-白板推导系列(二)-数学基础笔记：https://zhuanlan.zhihu.com/p/290876484
• 机器学习-白板推导系列笔记（二）-数学基础：https://blog.csdn.net/qq_41485273/article/details/111761092
• 机器学习-白板推导系列笔记：https://github.com/tsyw/MachineLearningNotes
• 【机器学习】【白板推导系列】：https://www.bilibili.com/video/av70839977/