pca 累积方差贡献率公式_PCA原理详解-背后的数学

1. 将n维特征映射到k维，这全新的k维正交特征就是主成分。
2. 这k维向量中，第一个维度选取原始数据中方差最大的方向；第二个维度选取与第一个坐标正交的平面中，方差最大的一个；第三个维度选取与前两个维度正交的平面中方差最大的一个。以此类推，得到k维向量。所以大部分方差都包含在前面k个维度中，后几个几乎为0。

所以PCA本质上是只保留包含大部分方差的维度特征，忽略方差几乎为0的特征，从而实现降维。

推论：从PCA原理可知，PCA针对特征信息比较冗余的情况处理效果比较好，因为冗余特征本质上就是存在一定相关性的特征，对应的方差就会小，从而在计算PCA过程中，这类特征就会被丢弃。

但是针对高维稀疏特征、或者高维不相关的特征，PCA效果一定很差，因为会丢失很多信息。这种情况下的降维就需要具体情况具体分析。比如lightgbm模型，里边为了降维，用到了exclusive feature bundling（互斥特征绑定）算法，其假设特征间存在一定情况的互斥性，这个时候也可以用较少的存储来表达其它特征，从而达到降维的目的。

理解PCA所需的一点数学：

1. 样本方差
   
   这里的分母是
   ，原因在于这是样本估计的方差，为了尽量逼近真实的方差，所以除以
   ，相当于无偏估计。
2. 样本协方差
   (1)中的方差其实只有一个维度。假设样本有两个维度，那样本方差可表示为
   
   但是这个时候就不叫样本方差了，而是叫协方差，即
   
   其中
   
   备注：平均数的平均数还是原数，所以E[E(X)]=E(X)。
   结论：方差的计算仅针对某一维度而言，即同一特征的不同样本。而协方差必须满足至少二维特征，公式(3)给出的样本间关于X,Y两个维度的协方差。所以方差是协方差的特例。
   特性：
   a. 协方差为正，正相关；为负，负相关；为0，相互独立。
   b. Cov(a,a)其实就是样本关于特征a的方差。当样本
   有n维特征时，样本间的协方差其实就是其对称方阵
   
   举例：
   
   求每个特征的均值
   
   每个样本
   减去其对应特征的均值
   
   所以

---

这是我的比特币地址，欢迎打赏
1K8yPxiHvkxzaiDiH8CGApZoRbdvz5xo8P