LDA降维的讲解

LDA简介

LDA根据带标签的数据点，将点投影到维度更低的空间中，使得投影后的点，**按照类别进行区分，同一类别的数据点，在投影后的空间中更接近。**这时类间距离最大化并且类内距离最小

LDA的数学推导

举一个简单的例子，假设有两个样本$C_1和C_2$，均值分别是${\mu }_1,{\mu }_2$，投影方向为$w$,则投影后两个样本的距离就可以表示为：PCA降维全过程文章的补充中有投影的计算
$$D(C_1,C_2)=||w^T({\mu }_1-{\mu }_2)|{|}^2（1式）$$
接着，我们需要表示出投影后样本的方差
V a r ( C 1 ′ ) = ∑ x ∈ C 1 ( w T x − w T μ 1 ) 2 （ 2 式 ） V a r ( C 2 ′ ) = ∑ x ∈ C 2 ( w T x − w T μ 2 ) 2 （ 3 式 ） Var(C_1')=\sum_{x\in C_1}(w^Tx-w^T\mu_1)^2（2式）\\ Var(C_2')=\sum_{x\in C_2}(w^Tx-w^T\mu_2)^2（3式） Var(C1′​)=x∈C1​∑​(w