LDA原理与实现

1.LDA原理

1.1 概念

\hspace{0.5cm} LDA全称为Linear Discriminant Analysis，中文为线性判别分析。与PCA的作用相同，LDA的作用是降维，但是区别是PCA是无监督降维，而LDA是有监督的降维，LDA可以利用训练数据的类别标签。PCA只需要将数据映射到方差最大的空间，LDA需要将类别相同的数据尽可能靠近，类别不同时则需要分开点。这两个目标可以形式化为：
１．不同类别数据投影过后方差越大越好
２．同类样本的类间方差越小越好

1.2 公式推导

\hspace{0.5cm} LDA是将数据投影到多条直线上来实现降维，假设数据为D，以二分类为例，投影的直线为W，投影后的数据为Y，则$Y=w^{T}X$

\hspace{0.5cm} 设$D_i$为属于类别i的数据集合，类别$D_i$的中心坐标为$m_i$=$\frac{1}{len(D_i)}{\sum }_{x\in D_i}x$，$m_i$的投影后的数据为$\widetilde{m_i}$=$W_T{m}_i$，对于类别i，类内的分离程度(方差)为：$\widetilde{S_i}$=${\sum }_{y\in Y_i}(y-\widetilde{m_i}{)}^2$

\hspace{0.5cm} LDA的表达式为:$J(w)$=$\frac{|\widetilde{m_1}-\widetilde{m_2}{|}^2}{{\widetilde{S_i}}^2+{\widetilde{S_i}}^2}$，这个表达式的分子是指类间距离，分母是类内距离。最大化类间误差并最小化类内误差，所以只要max$J(w)$就可以了。

\hspace{0.5cm} 由$S_i={\sum }_{x\in D_i}(x-m_i)(x-m_i{)}^T$，得$\widetilde{S_i}={\sum }_{x\in D_i}(w_{T}x-w_T{m}_i{)}^2={\sum }_{x\in D_i}{w}^T(x-m_i)(x-m_i{)}^{T}w=w^T{S}_{i}w$

\hspace{0.5cm} 因为${\widetilde{S_i}}^2+{\widetilde{S_i}}^2=w^T(S_1+S_2)w=w^T{S}_{w}w$，$|\widetilde{m_1}-\widetilde{m_2}{|}^2=w^T(m_1-m_2)(m_1-m_2{)}^{T}w=w^T{S}_{B}w$，最终上式可以转化为$J(w)=\frac{w^T{S}_{B}w}{w^T{S}_{w}w}$，这个被称为广义瑞利商

\hspace{0.5cm} 求解J关于w的导数并置其为0，$\frac{\alpha (J)}{\alpha (w)}=\frac{2((w^T{S}_{w}w)S_{B}w-(w^T{S}_{B}w)S_{w}w)}{(w^T{S}_{w}w{)}^2}=0$
\hspace{0.5cm} 得到最优的条件是:$S_{B}w=\frac{w^T{S}_{B}w}{w_T{S}_{w}w}{S}_{w}w$，所以w是$S_B$与$S_w$的广义特征向量，
$\frac{w_T{S}_{B}w}{w^T{S}_{w}w}$是其对应的广义特征值。对于二分类，整理上式可以得到
$S_{W}w=\frac{w_T{S}_{w}w}{w_T{S}_{B}w}(m_1-m_2)(m_1-m_2{)}^{T}w=\frac{w_T{S}_{w}w}{w_T{S}_{B}w}(m_1-m_2{)}^{T}w(m_1-m_2)=c(m_1-m_2)$，c为一个标量值，所以w的方向为：$S_w^{-1}(m_1-m_2)$

\hspace{0.5cm} 上述求解方法的假设是$S_w$可逆。当$S_w$不可逆时，可以使用Moore-Penrose方法求解伪逆来代替矩阵的逆，$S_w$的伪逆是：$S_W^{+}=E{\wedge }^{+}{E}^T$,定义一个公式，$$x^{+}=\{\begin{array}{rlr}& 0& ifx=0\\ & \frac{1}{x}& otherwise\end{array}$$
当$S_W$可逆时，$S_W^{+}=S_W^{-1}$。
此外还可以用拉格朗日方法解这个问题，一些先验知识如下，$S_w={\sum }_{i=1}^c{S}_i$，全局散度$S_t＝{\sum }_{i=1}^n(x_i-\mu )(x_i-\mu {)}^T$，全局散度=类内散度+类间散度，所以$S_B=S_t-S_w$，$S_B={\sum }_{i=1}^c{m}_i({\mu }_i-\mu )({\mu }_i-\mu {)}^T$，对上式求解可得到特征值与特征向量可得w

2.LDA实现

\hspace{0.5cm} 首先如下图得到待FLD处理的数据点

对于这种数据，知其w=$S_w^{-1}(m_1-m_2)$，首先对$S_w$用奇异值分解为$S_w=U\sum V^T$，得到$S_w^{-1}=V{\sum }^{-1}{U}^T$

 u, s, v = np.linalg.svd(s_w)  
 s_w_inv = np.dot(np.dot(v.T, np.linalg.inv(np.diag(s))), u.T)

由此可以得到w

参考资料

[1].https://www.cnblogs.com/LeftNotEasy/archive/2011/01/08/lda-and-pca-machine-learning.html
[2].https://blog.csdn.net/liuweiyuxiang/article/details/78874106
[3].https://chenrudan.github.io/blog/2016/04/01/dimensionalityreduction.html#3.3
[4].https://www.cnblogs.com/LeftNotEasy/archive/2011/01/08/lda-and-pca-machine-learning.html