PCA和LDA以及之间的区别

Season请您先思考：

    ·PCA与矩阵有什么关系?

    ·LDA与瑞利商有什么关系？

    ·PCA和LDA在降维世界里，谁是赢家？

一、PCA

1、思想

       主成分分析（Principal components analysis），是一种降维方法，在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用，需要我们找出数据里最主要的方面，然后来代替原始数据。比如我们希望将数据从二维降低到一维，那么这里就存在了一个映射关系，通常这个映射关系我们用矩阵表示。而我们的工作便是找到这个矩阵，这里我们要思考矩阵是用哪些向量来表示的呢？带着这个问题我们来解决二维数据降维到一维的具体问题。数据如下图。我们希望找到某一个维度方向，它可以代表这两个维度的数据。图中列了两个向量方向，U1和U2那么哪个向量可以更好的代表原始数据集呢？从直观上也可以看出，U1比U2好。为什么答案是这样呢？u1

我们是这样解释的，因为我们希望降维后 ，样本点在这个向量（或者是超平面）上的投影尽可能的分开，也就是说基于最大化投影方差。为什么标准是这个样子呢？请试想，如果投影后的数据点全都集中到一个地方了，那么很多点就无法看到了，也就是说失去了很多有效的信息，如果我们将数据点尽可能的分开让大家都能看到，这样的话，信息保留的会最多。

2、数学推导

（注意：基于方差最大化挨个找出w1w2,,,且各个向量彼此正交）