协方差矩阵_特征值和特征向量

协方差理解：

对于一个样本集合S，如果每个样本是一个n维空间中的一个列向量，则使用协方差矩阵描述样本之间的变化程度，

协方差矩阵的定义式：

其中，Xi和Xj分别表示第i个维度上的样本和第j个维度上的样本。

协方差矩阵C是一个n*n维的方阵，协方差矩阵的元素值代表了样本集在对应方向上的方差，例如：C的对角线上的元素C(i,i)代表了样本集在第i个维度上的方差，也即代表样本集在第i个维度上的能量。C(i,j)代表了样本集在第i个维度和第j个维度上的样本分量之间的协方差，可以理解为样本集在第i维投影方向和第j维投影方向之间的斜线方向上的方差，或者能量。所以，协方差矩阵集中表示了样本集在原n维空间中各个方向上的能量分布。

 

特征值和特征向量：

在协方差矩阵的基础上进一步理解特征值和特征向量，之前已述，协方差矩阵表示了样本集在原n维空间中各个方向上的能量分布，通过对协方差矩阵求特征向量，实际上找到的是在原n维空间中的一些特定的方向，样本集的能量集中分布在这些方向上，而特征值的大小就反映了样本集在该方向上的能量大小。PCA正式基于这一点，删掉对应特征值小的方向，只保留主要的方向，达到降维的目的。

 

对于协方差矩阵计算特征向量的一个性质：

假设有样本集Xi(i=1,...,m)，每个样本Xi的维度为n，Xi的均值为0向量，则协方差矩阵C=X*X'，其中X=(X1,X2,...,Xn)，计算C的特征向量，可以有两种方法：

（1）直接计算C的特征向量

（2）先计算(X')*X的特征向量v1，然后C的特征向量v=x*v1

当样本的个数m大于样本的维数n时，选用方法(2)所得到的矩阵维数较小，因此使用方法(2)计算量较小；

当样本的个数m小于样本的维数n时，选用方法(1)所得到的矩阵维数小，因此使用方法(1)计算量小。

 

对变换的理解：

对于线性变换Y=WX，其中X，Y分别是n维向量，W是n*n的变换矩阵，对于此线性变换可以理解为：将原n维空间中的一个点X映射到一个新的n维空间中，新的n维空间中的方向即为变换矩阵W的各个行向量。Y的第i个分量即为W的第i个行向量Wi和X做点乘运算的结果，即X在Wi方向上的投影。一般而言，要求W各个投影方向之间相互正交，这样可以减少投影之后各个系数之间的相关性以及冗余信息，使得每个系数所代表的信息量达到最大。