PCA原理剖析
矩阵的秩 特征向量 特征值是什么?
此篇博客主要分析PCA有什么劣势以及产生的原因,对PCA还不清楚的可以结合上面两个博客从多角度深入了解PCA。
劣势一,在对数据完全无知的情况下,PCA变换并不能得到较好的保留数据信息。
因为PCA需要对数据进行预处理,第一步需要对其进行中心化,如果数据的尺度不统一,还需要标准化。通常的标准化方式是除以标准差。这里可能就出出现一个问题,比如标准差很小,接近于零,尤其是被噪声污染的数据,噪声的标准差对数据的放大作用更显著,而没被噪声污染的数据其在标准化的过程中放大作用较小。
劣势二,对降维最终得到的数目,也就是潜在的隐变量的数目,不能很好的估计。
劣势三,PCA原理主要是为了消除变量之间的相关性,并且假设这种相关性是线性的,对于非线性的依赖关系则不能得到很好的结果。
使用PCA进行线性降维后样本间的非线性相关性有可能会丢失。
判断是否是线性降维过程可以用一个线性变换表示决定。pca降维的过程可以通过数据乘以一个矩阵表示,因此就是一个朴素的线性变换。