PCA主成分分析简单理解

PCA:主成分分析

可以这样简单理解，假设原先在H维坐标空间有N个点，那么我们想要做的事情是，寻找一个新的比原先维数低(假设为L)的坐标空间，使得这N个点的主要信息（也就是方差，或者说成能量）在这个新的空间里能够保留下来。举个例子，新的低维坐标空间里面的坐标轴为Y1,Y2,...,YL.在PCA里面，我们称Y1为第一主分量，也就是说Y1能够包含N个点在原先的高维度空间里面的大部分信息（可以这样想，原先的N个点投影到这个Y1坐标轴上，它们之间的方差是最大的，它们在这个新的坐标轴上损失的信息较少，反之，如果这些点投影到这个坐标轴上后之间的方差很小，可以想象成混在了一起，也就是无法进行区分，相当于原先的信息根本无法保留下来，那么这个就不是一个好的新坐标轴）。

为了达到尽可能保留原先点的信息，使得这L个新坐标足以表达原先点的主要信息，Y1,Y2,...,YL依次为第一主分量，第二主分量，...,第L主分量，而且这些坐标轴是互不干扰的，也就是说各自保留主要信息。那么也就是需要Energy(Y1)>Energy(Y2)>...>Energy(YL),同时Yi和Yj协方差为0（也就是没有相关性），那么，我们的数学目标就是：

假设新的坐标是:Y=[Y1,Y2,...,YL],求其协方差矩阵Y*Y'(表示转置)=B,B是一个对角矩阵，它的对角线上的元素从左上角到右下角依次降低（对应Y1到YL能量依次下降），而其他元素为0表示各不相干。