协方差矩阵到底有什么用？

我们知道，线性代数，可以完成空间上的线性变换——旋转，缩放。对于协方差，我们隐约可以想到，它能解释一个随机变量，它在各个维度的变化程度。但是，这种认识其实还是处于比较浅层次的。数学嘛，总要落实到公式上，才算认识比较深刻。

我认为，协方差一个经典的用法，是帮助我们计算对原始变量进行线性变换后的因变量的方差。

Y是对X的线性变换，如果X的协方差是，那么Y的方差就是。如果我们再进步一联想，就会想到结果其实是个二次型。的确，个人认为，协方差矩阵，一定是在二次型的环境里才能发挥到它的最大作用。

为了进一步感受它对于统计学的意义，我们可以举个实际的例子。

线性判别分析，就是把一个高维上的点投影到它的超平面上。它的目的很单纯，就是分类。它会认为，你再直线上的投影点，如果离得近，那么你们就是一类的。那么怎么衡量点离得近呢？没错，就是方差。这里就涉及到对于线性变换后的点进行方差计算的问题，此时，就可以用到我们上面的公式了。    ​​​​​​这里的，就是直线方程的系数。

那么，我们可以进一步抽象。所谓对X进行的线性变换，其实是一种到某一条直线的投影，是一种约束，这种约束就是把散落在高维空间中的点，约束到它的超平面上。然后，协方差矩阵在这个约束的限制下，会变成一个数，也就是方差。

总结一下，协方差是约束前的方差的具体展开，二次型在这里，扮演了对协方差的约束的效果。它要求，协方差对应的点X，都在 系数下的直线上。