前言:最近重新看了下PCA算法的实现,在里面用到了协方差矩阵的计算。为了今后方便回顾,特此记录。
这里只针对协方差矩阵的计算做说明,并与numpy和MATLAB中的协方差矩阵计算做对比。关于协方差矩阵的定义这里不再赘述。
混淆点
关于矩阵中数据是按照列排列和按照行排列的出来的协方差矩阵是不同的。
如果数据按照列排列,例如一个3*2的矩阵,那么该矩阵有2个数据(或者叫观测值),3个变量。
如果数据按照行排列,同样以3*2的矩阵为例,那么该矩阵有3个数据(或者叫观察值),2个变量。
不过不管矩阵中数据是按照行排列还是列排列,最后的协方差矩阵的维度只与变量有关。
计算
下面将分别解释数据按行排列和列排列的协方差矩阵的计算。
一、数据按照行排列
矩阵A包含2个观察值,每个观察值有3个变量。