主成分分析（PCA）是一种常用的数据分析方法，用于降低数据的维度同时最大化保留信息。PCA寻找一组单位正交基，使得数据变换到这些基上后，各变量间的协方差为0，方差尽可能大。PCA的步骤包括数据中心化、计算协方差矩阵、获取特征值和特征向量，最后选择最大k个特征值对应的特征向量进行降维。PCA能缓解维度灾难、降噪，但也可能加剧过拟合，且确保降维后特征独立。
主成分分析原理（PCA）
两个矩阵相乘的意义是将右边矩阵中的每一列向量 
变换到左边矩阵中以每一行行向量为基所表示的空间中去。
选择不同的基可以对同样一组数据给出不同的表示，如果基的数量少于向量本身的维数，则可以达到降维的效果。
有一组 N 维向量，现在要将其降到 K 维（K 小于 N），那么我们应该如何选择 K 个基才能最大程度保留原有的信息？（投影后的投影值尽可能分散，因为如果重叠就会有样本消失。从熵的角度进行理解，熵越大所含信息越多。）
变量内方差（一维）：
我们知道数值的分散程度，可以用数学上的方差来表述。单变量的方差可以看做是每个元素与变量均值的差的平方和的均值，即：
为了方便处理，我们将基组的均值都化为 0 ，因此方差可以直接用每个元素的平方和除以元素个数表示：
最低0.47元/天 解锁文章
扫一扫
1464
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
