协方差矩阵的几何解释和多重高斯分布

协方差矩阵的几何解释和多重高斯分布

---

这篇文章，总结之前阅读的这篇文章学到的知识点，即协方差矩阵的几何意义，同时利用几何解释，介绍多重高斯分布如何从标准单变量的高斯分布推导出来。主要涉及如下内容：

协方差矩阵的定义
协方差矩阵所体现的数据分布的几何意义
多重高斯分布的推导

协方差矩阵的定义

协方差矩阵一般出现在多重高斯分布的表达式中：
$$p(x;\mu ,\Sigma )=\frac{1}{(2\pi {)}^{\frac{n}{2}}|\Sigma {|}^{\frac{1}{2}}}exp(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))\text{\hspace{1em}(1)}$$
其中$\mu$是列向量$x$的平均值构成的向量，而$\Sigma$即协方差矩阵。对于任意列向量来$Z$来说，其协方差矩阵的定义为：
$$\begin{gathered} Cov(Z)=E[(Z-E(Z))(Z-E(Z{)}^T] \\ =E[Z{Z}^T]-(E[Z])(E[Z]{)}^T\text{\hspace{1em}(2)} \end{gathered}$$
列向量减去自身的均值向量，而后和自己的转置相乘，将会得到一个矩阵，参考两个变量之间的协方差的定义：
$$Cov(x,y)=E[(x-E(x))(y-E(y))]\text{\hspace{1em}(3)}$$
可以知道，得到的矩阵的第$c_{ij}$个变量就是第$i$维的变量和第$j$维的变量的协方差，而且$c_{ij}=c_{ji}$，所以这个矩阵是对称的，而且由这个矩阵的变换功能本身来看，也必定至少是半正定的(positive semi-definite)。
对等式2来说，之所以等于$E(Z{Z}^T)-(E[Z])(E[Z)]{)}^T$是基于矩阵的第$ij$个元素有：
$$\begin{gathered} \sigma (z_i,z_j)=E[(z_i-E(z_i))(z_j-E(z_j))] \\ =E[z_i{z}_j-E(z_i)z_j-E(z_j)z_i+E(z_i)E(z_j)] \\ =E[z_i{z}_j]-{\mu }_i \end{gathered}$$