Season请您先思考:
·PCA与矩阵有什么关系?
·LDA与瑞利商有什么关系?
·PCA和LDA在降维世界里,谁是赢家?
一、PCA
1、思想
主成分分析(Principal components analysis),是一种降维方法,在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用,需要我们找出数据里最主要的方面,然后来代替原始数据。比如我们希望将数据从二维降低到一维,那么这里就存在了一个映射关系,通常这个映射关系我们用矩阵表示。而我们的工作便是找到这个矩阵,这里我们要思考矩阵是用哪些向量来表示的呢?带着这个问题我们来解决二维数据降维到一维的具体问题。数据如下图。我们希望找到某一个维度方向,它可以代表这两个维度的数据。图中列了两个向量方向,U1和U2那么哪个向量可以更好的代表原始数据集呢?从直观上也可以看出,U1比U2好。为什么答案是这样呢?u1
我们是这样解释的,因为我们希望降维后 ,样本点在这个向量(或者是超平面)上的投影尽可能的分开,也就是说基于最大化投影方差。为什么标准是这个样子呢?请试想,如果投影后的数据点全都集中到一个地方了,那么很多点就无法看到了,也就是说失去了很多有效的信息,如果我们将数据点尽可能的分开让大家都能看到,这样的话,信息保留的会最多。
2、数学推导
(注意:基于方差最大化挨个找出w1w2,,,且各个向量彼此正交)