pca 累积方差贡献率公式_PCA原理详解-背后的数学

1. 将n维特征映射到k维，这全新的k维正交特征就是主成分。
2. 这k维向量中，第一个维度选取原始数据中方差最大的方向；第二个维度选取与第一个坐标正交的平面中，方差最大的一个；第三个维度选取与前两个维度正交的平面中方差最大的一个。以此类推，得到k维向量。所以大部分方差都包含在前面k个维度中，后几个几乎为0。

所以PCA本质上是只保留包含大部分方差的维度特征，忽略方差几乎为0的特征，从而实现降维。

推论：从PCA原理可知，PCA针对特征信息比较冗余的情况处理效果比较好，因为冗余特征本质上就是存在一定相关性的特征，对应的方差就会小，从而在计算PCA过程中，这类特征就会被丢弃。

但是针对高维稀疏特征、或者高维不相关的特征，PCA效果一定很差，因为会丢失很多信息。这种情况下的降维就需要具体情况具体分析。比如lightgbm模型，里边为了降维，用到了exclusive feature bundling（互斥特征绑定）算法，其假设特征间存在一定情况的互斥性，这个时候也可以用较少的存储来表达其它特征，从而达到降维的目的。

理解PCA所需的一点数学：

1. 样本方差