线性判别分析 LDA 理论与代码

博客园相关内容值得一看。$LDA$是一种线性分类模型，也可用于降维，其想法是将$y=0$的那些数据$X_0$和$y=1$的那些数据$X_1$投影到低维空间，使得$X_0$的那些点投影后离得近，$X_1$的那些点离得近，但是$X_0$和$X_1$分别的点离得远。将数据分别投影到直线$w$上，$X_i,{\mu }_i,{\Sigma }_i$分别是$y=i$的数据矩阵，均值向量，协方差矩阵，投影之后的中心值是$w^T{\mu }_i$，协方差值是$w^T{\Sigma }_{i}w$，为了使同类的离散程度小，异类的距离大，可最大化$J=\frac{||w^T{\mu }_0-w^T{\mu }_1|{|}_2^2}{w^T{\Sigma }_{0}w+w^T{\Sigma }_{1}w}=\frac{w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w}{w^T({\Sigma }_0+{\Sigma }_1)w}$，定义类内散度矩阵$S_{within}={\Sigma }_0+{\Sigma }_1$和类间散度矩阵$S_{between}=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$，则最大化目标可重写为$J=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$，即$S_b$和$S_w$的广义瑞利商

• 若$w$是一个二维向量，它表示的直线是$(0,0)$到$(w_1,w_2)$连接的直线

• 均值向量就是对数据的特征求均值，$X_{m\times n}$横向求均值压缩成竖条${\mu }_{m\times 1}$

• 随机变量$X$方差的公式是$Var(X)=E[(X-E(X){)}^2]$，和另一随机变量$Y$的协方差的公式是$COV(X,Y)=E[(X-E(X)(Y-E(Y))]$，矩阵$X$的协方差矩阵也叫方差矩阵，求法是$E[(X-E(X){)}^2]$（更像方差），也就是$\frac{1}{m}(X-\mu {)}^T(X-\mu )$，得到的矩阵维度是$CO{V}_{n\times n}$，协方差矩阵表示了数据向量的离散程度

• 为什么投影之后的方差是$w^T\Sigma w$？

广义瑞利商的分子分母都是$w$的二次项，因此最优解$J$与$w$的长度无关，最优化$J=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$，可等价于优化
$$\begin{gathered} mi{n}_w-w^T{S}_{b}w \\ s.t.w^T{S}_{w}w=1 \end{gathered}$$

**因此最优解$J$与$w$的长度无关是什么意思？**书上写若$w$是一个解，则任意$\alpha w$也是一个解

根据拉格朗日乘子法相当于无约束优化
$$mi{n}_w-w^T{S}_{b}w+\lambda w^T{S}_{w}w$$
对$w$求偏导是$-(S_b+S_b^T)w+\lambda (S_w+S_w^T)w$，令其为$0$可得到$\lambda S_{w}w=S_{b}w$，$S_{b}w$可表示为是${\lambda }^{\prime }({\mu }_0-{\mu }_1)$，因此${\lambda }^{\prime }({\mu }_0-{\mu }_1)=\lambda S_{w}w$，由于最优解与$w$的长度无关，因此$w=S_w^{-1}({\mu }_0-{\mu }_1)$，由于$S_w$可能不可逆，实践上上利用奇异值分解得到$S_w^{-1}=V{\Sigma }^{-1}{U}^T$

• $x{A}^{T}x$对$x$求偏导结果是$(A+A^T)x$

• $S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$，$S_b^T=(({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T{)}^T=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T=S_b$，因此$S_b$是对称矩阵

• $S_w={\Sigma }_0+{\Sigma }_1$，两个协方差矩阵都是对称矩阵，因此$S_w$是对称矩阵

• 对称矩阵满足 $S+S^T=2S$

• $S_{between}=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$ 是一个秩一矩阵，它的秩就在${\mu }_0-{\mu }_1$这条线上，$S_{b}w$是将$w$变换到$S_b$的列空间中，肯定是变换到了${\mu }_0-{\mu }_1$这条线上，因此$S_{b}w$可表示为是$\lambda ({\mu }_0-{\mu }_1)$

将$LDA$推广到多分类任务，定义全局散度矩阵$S_t=S_b+S_w={\sum }_{i=1}^m(x_i-\mu )(x_i-\mu {)}^T$，$\mu$是全局均值向量，类内散度矩阵类推是$S_w={\Sigma }_0+{\Sigma }_1+\cdots +{\Sigma }_k$，即$k$个类别的协方差矩阵和，$S_b=S_t-S_w$，多分类$LDA$最常见是最优化$J=\frac{tr(W^T{S}_{b}W)}{tr(W^T{S}_{w}W)}$，其中$W$是投影矩阵，可将原数据$X$投影到$N$维度，$W$的解是$S_w^{-1}{S}_b$的前$N$个最大广义特征值所对应的特征向量矩阵。$LDA$的代码，$LDA$理论，$LDA$和$PCA$的异同