协方差矩阵的意义

协方差矩阵的意义：
方差是变量减均值的期望，两个变量的协方差是变量一减均值，乘以，变量二减均值，的期望。协方差矩阵，就是多个变量两两间协方差值，按顺序排成的矩阵。协方差的意义是，衡量两个变量偏差变化趋势是否一致，除以两变量标准差之积以标准化，即相关系数

对于机器学习领域的PCA来说，如果遇到的矩阵不是方阵，需要计算他的协方差矩阵来进行下一步计算，因为协方差矩阵一定是方阵，而特征值分解针对的必须是方阵，svd针对的可以是非方阵情况。

机器学习降维算法一：PCA (Principal Component Analysis)
主成分分析算法（PCA）是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性。
http://www.cnblogs.com/xbinworld/archive/2011/11/24/pca.html