lda 协方差矩阵_LDA 线性判别分析公式推导

学习 LDA 其实我也没觉得它有什么很重要的应用，甚至我还听到了一种说法，觉得 LDA 是一个比较鸡肋的算法(这一点恐怕要打一个大大的问号)，但是在学习 LDA 的过程中，可以巩固我们对常见数学工具的应用，因为其中用到的拉格朗日乘子法，定义的协方差矩阵、投影到向量的思想是常见而且基础的。

LDA 的思想

与 PCA 不同，LDA 需要利用类标信息进行降维，是一种监督学习降维技术。

训练时：给定训练样例集，设法将样例投影到一条直线上，使得：

1、同类样本的投影点尽可能地接近；

2、异类样本的投影点尽可能地远离。

要学习的就是这样一条直线：投影到一条直线上，直线是一维的，所以待求的参数是一个向量(特指列向量)；那么降维体现在哪里呢？我们求出了这个直线向量

以后，可以归一化，得到一个单位向量，然后去掉这个单位向量中分量比较小的量，只保留比较大的分量，这样就达到了降维的目的。

预测时：将待预测的样本投影到学习到的直线上，根据它的投影点的位置来判断它的类别。

LDA 的核心思想

LDA 的核心思想：投影变换后：

1、类间距离最大；

2、类内方差最小。

定量描述 LDA 的核心思想

类标在 LDA 算法执行过程中就发挥了重要作用：

LDA 公式推导

1、我们将原始的