深入浅出 矩阵特征值 与 特征向量 的物理意义

协方差

1. 是一种用来度量两个随机变量关系的统计量。
2. 只能处理二维问题。
3. 计算协方差需要计算均值。

方差与协方差的关系

方差是用来度量 单个变量“自身变异” 大小的总体参数，方差越大表明该变量的变异越大

协方差是用来度量 两个变量之间“协同变异" 大小的总体参数，即二个变量相影响大小的参数，协方差的绝对值越大，则二个变量相互影响越大。

协方差矩阵

1. 协方差矩阵能处理多维问题;
2. 协方差矩阵是一个对称的矩阵，而且对角线是各个维度上的方差。
3. 协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的。
4. 样本矩阵中若每行是一个样本，则每列为一个维度，所以计算协方差时要按列计算均值。

在线性变换的作用下，向量仅仅在尺度上变为原来的k倍。称是线性变换的一个特征向量，是对应的特征值。

矩阵特征值 与 特征向量 的物理意义

特征值和特征向量表达了一个线性变换的特征。

在物理意义上，一个高维空间的线性变换可以想象是在对一个向量在各个方向上进行了不同程度的变换，而特征向量之间是线性无关的，它们对应了 最主要的变换方向，同时特征值 表达了相应的变换程度。

具体的说，求特征向量，就是把矩阵A所代表的空间进行正交分解，使得A的向量集合可以表示为每个向量A在各个特征向量上的投影长度。

我们通常求特征值和特征向量即为求出这个矩阵能使哪些向量只发生拉伸，而方向不发生变化，观察其发生拉伸的程度。这样做的意义在于，看清一个矩阵在哪些方面能产生最大的分散度（scatter），减少重叠，意味着更多的信息被保留下来。