PCA

PCA

PCA常常用于数据降维等应用，提取、挖掘数据中的显著信息。

数学意义

PCA的运算过程本质上同矩阵的奇异值分解相通。可以认为PCA的过程是将数据矩阵X分解为UEV，其中数据矩阵X为m*n，m为样本个数，n为样本维度。E为对角矩阵，对角元素为奇异值。原矩阵可以看成多个秩为1的矩阵加权相加而成。
在PCA中，UE被称为得分矩阵，UE的维度等于X的维度，即可以用UE来代替原来X的数据，两个矩阵之间差一个正交变换V。如果E的奇异值按由大到小的降序排列，则UE矩阵越往前的列所代表的维度越能反应数据显著变化的方向，即方差更大的方向。因此可以用用前几个维度的数据反应数据集的主要信息。

几何意义

由数学意义的分析可以看出，数据新的表示矩阵UE是原矩阵X做了正交变换，因此变换前后仅仅是将原来的坐标系做了旋转，使得第一个维度对应的数据方差最大，第二各维度其次，以此类推。