B站白板推导系列笔记——高斯分布——等概率线椭圆

先上大佬视频地址: 视频传送门

曾经做过机器学习相关实验的同学，可能大家在实验中会发现，生成的二维高斯分布的样本大概是呈现圆形或者椭圆的形状，但我猜大部分人应该没有做过相关证明吧（比如说我orz）。
这篇文章总结了这位大佬的视频，在视频中他推导出了这个结论。

马氏距离

首先先引入马氏距离：马哈拉诺比斯距离是由印度统计学家马哈拉诺比斯 (英语)提出的，表示数据的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法。与欧氏距离不同的是它考虑到各种特性之间的联系（例如：一条关于身高的信息会带来一条关于体重的信息，因为两者是有关联的）并且是尺度无关的（scale-invariant），即独立于测量尺度。

对于一个均值为 $\mu =({\mu }_1,{\mu }_2,{\mu }_3,\dots ,{\mu }_p{)}^T$，协方差矩阵为 $\Sigma$ 的多变量向量 $x=(x_1,x_2,x_3,\dots ,x_p{)}^T$ ，其马氏距离为:
$$D_M(x)=(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )$$
也可以定义为两个服从同一分布并且其协方差矩阵为 $\Sigma$ 的随机变量 $x$ 与 $y$ 的差异程度
$$D_M(x)=(x-y{)}^T{\Sigma }^{-1}(x-y)$$

关于马氏距离的背景及推导请参考连接：
知乎传送门

高斯分布的表现形式

高维高斯分布表达式如下：
$$\begin{array}{rl}N(\mathbf{x},\mathbf{\mu },\mathbf{\Sigma })& =\frac{1}{(2\pi {)}^{\frac{d}{2}}|\mathbf{\Sigma }{|}^{\frac{1}{2}}}exp(-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu }))\end{array}$$

我们可以看到，决定这个概率密度表达式由随机变量 $x$ 均值 $\mu$ 和协方差矩阵 $\Sigma$ 决定，其中只有 $x$ 是变量，另两个是定值。所以当给定期望和方差时，该密度分布实际上只与 $x$ 有关，也就是与 $-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })$ 有关，这个形式其实就是之前提到的马氏距离，为了推导方便，忽略前面的-1/2系数，另：
$$\Delta =(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )$$

下一步我们对上面这个式子做一个变形，以便更好分析：

首先对中间的协方差矩阵进行变形：由于 $\Sigma$ 是正定（半正定）矩阵，故一定可以进行特征值分解：
$$\Sigma =U\Lambda U^T,U^{T}U=U{U}^T=I,\Lambda =diag({\lambda }_i),i=1,2,...,pU=(u_1,u_2,...u_p{)}_{p\times p}$$
所以：
$$\Sigma =U\Lambda U^T=(u_1,u_2,...,u_p)\left(\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& & ⋮\\ ⋮& & \ddots & ⋮\\ 0& \cdots & \cdots & {\lambda }_p\end{array}\right)\left(\begin{array}{c}{u}_1^T\\ u_2^T\\ ⋮\\ u_p^T\end{array}\right)=\sum _{i=1}^p{u}_i{\lambda }_i{u}_i^T,$$
所以：
$${\Sigma }^{-1}=(U\Lambda U^T{)}^{-1}=\sum _{i=1}^p{u}_i\frac{1}{{\lambda }_i}{u}_i^T\text{\hspace{1em}(1)}$$
将（1）式代入到我们刚才考察的马氏距离中：
$$\begin{array}{rl}\Delta =(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )& =(x-\mu {)}^T(\sum _{i=1}^p{u}_i\frac{1}{{\lambda }_i}{u}_i^T)(x-\mu )\\ & =\sum _{i=1}^p[(x-\mu {)}^T{u}_i\frac{1}{{\lambda }_i}{u}_i^T(x-\mu )]\end{array}$$
设 $y_i=(x-\mu {)}^T{u}_i$ ，由维度知，$y_i$ 是一个数，所以 $y_i=y_i^T$。所以上式子可继续化为：
$$\Delta =(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )=\sum _{i=1}^p{y}_i\frac{1}{{\lambda }_i}{y}_i^T=\sum _{i=1}^p\frac{y_i^2}{{\lambda }_i}\text{\hspace{1em}(2)}$$
观察2式，考虑一个特殊情况，当p=2时：
$${\Delta }_2=\sum _{i=1}^2\frac{y_i^2}{{\lambda }_i}=\frac{y_1^2}{{\lambda }_1}+\frac{y_2^2}{{\lambda }_2}\text{\hspace{1em}(3)}$$
我们令3式等于一个常数c，也就是让这个 $\Delta$，即马氏距离等于一个常值：
$$\frac{y_1^2}{{\lambda }_1}+\frac{y_2^2}{{\lambda }_2}=c⟹\frac{y_1^2}{c{\lambda }_1}+\frac{y_2^2}{c{\lambda }_2}=1$$
可以看到，当马氏距离一定的时候，动点在 $(y_1,y_2)$ 平面下是一个标准的椭圆，并且是以原点为中心，长短半轴和两个维度各自的 ${\lambda }_i$ 有关。当马氏距离不定的时候，也就是我们让c开始变化的时候，我们发现，当c越大时，体现在图形上，这个椭圆越大；体现在马氏距离上，这个距离越大，反应到高斯分布的表达式上，这个概率值越小——这是符合我们对高斯分布的认知的，即离期望值越远，其概率密度越小

而我们对于 $y_i$ 的定义：$y_i=(x-\mu {)}^T{u}_i$，可以看到是该点原来的坐标先进行0均值化，然后再在变换（旋转）矩阵 $U$ 的变换下，在其 $u_i$ 向量（轴）上的投影值（以上内容可以参考PCA中的知识，实际上 ${\lambda }_i$ 是变换后新坐标系下每个维度的方差），故从随机变量x到后来的y，实际上只是进行了坐标的变换（仅限于平移和伸缩），故曲线的形状是没有本质上的变化的（仍然是圆或者椭圆，只不过此时不是以原点为中心,而是以原来坐标系下的均值为中心，长短半轴和协方差矩阵有关）

特殊情况

当协方差矩阵本身就为对角矩阵时（这个时候，每一个样本的个分量相互独立），其特征值矩阵即为自己，故其本身的图形就是一个横平竖直的椭圆，只是中心不为原点。当每个维度的协方差都相等时，该图形就是一个圆，此时称这个高斯分布为各项同性。

结论

通过以上的推导可知，当马氏距离——也就是高斯分布e脑袋上的那一坨一定时候，随机变量是分布在一个椭圆（严格来说是二维的时候，当更高维的时候，是分布在这样的椭球面或更高维度的椭球面）上，故椭圆（椭球面）是高斯分布的等概率线（面）