LDA PCA

线性判别式

  LDA(线性判别式)思想：给定训练集样例，设法将样例投影到一条直线上，使得同类样例的投影点都尽可能的接近，异类样例的投影点都尽可能的远离。也就是—”投影后类内方差最小，类间方差最大”。

  $\bullet$欲使同类样例的投影点尽可能的近，可以让同类的样例投影点的协方差尽可能的小。
  $\bullet$欲使异类样例的投影点尽可能的远，可以让异类的样例投影的中心距离尽可能的大。
  由于是两类数据，因此我们只需要将数据投影到一条直线上即可。假设我们的投影直线是向量$w$,则对任意一个样本本$x_i$,它在直线$w$的投影为$w^Tx_i$,对于我们的两个类别的中心点$\mu_0,\mu_1$,在在直线$w$的投影为$w^T\mu_0$和$w^T\mu_1$。由于LDA需要让不同类别的数据的类别中心之间的距离尽可能的大，也就是我们要最大化$||w^T\mu_0-w^T\mu_1||_2^2$,同时我们希望同一种类别数据的投影点尽可能的接近，也就是要同类样本投影点的协方差$w^T\Sigma_0w$和$w^T\Sigma_1w$尽可能的小，即最小化