协方差

理解协方差矩阵的关键就在于牢记它计算的是不同维度之间的协方差，而不是不同样本之间，拿到一个样本矩阵，我们最先要明确的就是一行是一个样本还是一个维度。

矩阵中的数据按行排列与按列排列求出的协方差矩阵是不同的，这里默认数据是按行排列。即每一行是一个observation(or sample)，那么每一列就是一个随机变量。

协方差矩阵：

协方差矩阵的维度等于随机变量的个数，即每一个 observation 的维度。
在某些场合前边也会出现 1 / m，而不是 1 / (m - 1).

协方差矩阵是一个对称的矩阵,而且对角线是各个维度上的方差。

---

总结一下协方差矩阵的特点：

• 对角线元素(i,i)为数据第 i 维的方差。
• 非对角线元素(i,j)为第 i 维和第 j 维的协方差。
• 协方差矩阵是对称阵。

---