西瓜书：PCA数学推导

一、PCA降维过程

只需对协方差矩阵X*transpose(X)进行特征值分解，将求得的特征值排序：λ1>=λ2>=…>=λd，再取前d’个特征值对应的特征向量构成W=（w1,w2,…,wd’）,这就是PCA的解。

西瓜书中的PCA算法如下：

需要说明的是，算法中的向量为列向量。假设原始维度为d，样本数目为m，因此特征矩阵X的维度为d×m，W的维度为d×d’。降维的时候，transpose(W)*X得到 d’×m的矩阵，它的每一列，即为降维后的向量。

二、PCA优化目标与求解

1.PCA优化目标


2.求解



补充：瑞利熵




PCA的目标是通过降维之后的向量，再还原回来的之后和原向量最接近（都是用线性映射），为了实现这个目标，得到的投影矩阵恰好是，原数据集的协方差矩阵的前d’个主成分为列组成的矩阵。

参考博客：https://blog.csdn.net/wyl1813240346/article/details/78548274