协方差矩阵的几何性质

本篇笔记将以向量值随机变量$X=(X_1,\dots ,X_n{)}^T$的协方差矩阵为例，研究其性质。在阅读笔记之前可先记下先导篇中的相关结论，尤其是该篇中任意方向发散程度章节的结论。本篇笔记主要参考借鉴的基础教材是《程序员的数学之概率统计》。

单位矩阵与圆

首先看一种最简单的情况，即协方差矩阵为单位矩阵。此时该矩阵有一个显著特征，即任意方向上的方差都为1。证明过程如下：
$$\mathrm{V}\left[{\mathbf{u}}^T\mathbf{X}\right]={\mathbf{u}}^T\mathrm{V}[\mathbf{X}]\mathbf{u}={\mathbf{u}}^{T}I\mathbf{u}={\mathbf{u}}^T\mathbf{u}=\mathbf{u}\cdot \mathbf{u}=\Vert \mathbf{u}{\Vert }^2=1$$
其原理可参考先导篇中的结论。
也就是说，上式其实表示任意方向上的标准偏差为1，从偏差的角度说，所有方向情况都一致，那这就符合圆的定义，用圆表现V[X]如下：

要注意的是，这个圆不能覆盖大部分可取的值，圆的半径只是标准差的大小，是一种偏差的平均情况。
只要协方差矩阵是单位阵，当协方差矩阵为2维的时候可以用上图的圆来表示，3维的时候可以用球体表示，n维的时候就是n维超球体。

对角矩阵与椭圆

上面讨论了协方差矩阵是单位阵的情况，那么去掉这么强的限制，换成一个相对弱一些的限制，如果协方差矩阵是对角阵时情况如何呢？其数学表述如下
V [ X ] = diag ⁡ (