LDA原理小结

线性判别分析（Linear Discrimination Analysis，LDA）是一种经典的线性学习方法。它既可以用于分类，又可以作为一种降维方法。

1. LDA的基本思想

LDA基本思想比较简单：给定带有标签的训练样本集，设法将样本投影到一条直线上，使得同类样本的投影点尽可能近，异类样本的投影点尽可能远。如果是进行分类，将新样本投影到同样的这条直线上，根据投影点的位置来确定新样本的类别。

举个例子，上图给出了两种不同的投影方式，直观上来看右图更好。因为右图中蓝色和红色数据较为集中，且类别之间的距离明显，而左图边界处数据混杂。
　　那么如何用数学语言对“同类样本的投影点尽可能近，异类样本的投影点尽可能远”进行表达呢，这里需要引入广义瑞利商。

2. 瑞利商和广义瑞利商

瑞利商是指这样的函数$R(A,x)$：$$R(A,x)=\frac{x^{H}Ax}{x^{H}x}\text{\hspace{1em}(1)}$$其中$x$为非零向量，$A$为$n\times n$的Hermitan矩阵（复共轭对称矩阵，即共轭转置矩阵和自己相等，记为$A^H=A$），这里我们只讨论实数的情况，所以$A^T=A$。瑞利商还有一个很重要的性质：$${\lambda }_{min}\le R(A,x)\le {\lambda }_{max}\text{\hspace{1em}(2)}$$其中${\lambda }_{min},{\lambda }_{max}$是矩阵$A$的最小和最大特征值。
　　当$x$是标准正交基时，即$x^{T}x=1$时，瑞利商退化为$R(A,x)=x^{T}Ax$，这个形式在谱聚类和PCA中都有出现，比如PCA中是$W^{T}X{X}^{T}W$的形式（所以说瑞利商和样本投影方差有关？）。
　　现在再来看看广义瑞利商的概念：$$R(A,B,x)=\frac{x^{H}Ax}{x^{H}Bx}\text{\hspace{1em}(3)}$$其中$x$为非零向量，$A,B$为$n\times n$的Hermitan矩阵。通过标准化，可以将广义瑞利商转化为瑞利商的形式。令$x=B^{-\frac{1}{2}}{x}^{\prime }$，则(2)变为：KaTeX parse error: No such environment: align* at position 7: \begin{̲a̲l̲i̲g̲n̲*̲}̲R(A,B,x')&=\fra…根据式(2)，我们可以知道，$R(A,B,x^{\prime })$的最大值为矩阵$B^{-1}A$的最大特征值，最小值为$B^{-1}A$的最小特征值。

3. 二分类LDA原理

回顾第一节，LDA的思想是设法将样本投影到一条直线上，使得：

• 同类样本的投影点尽可能近
• 异类样本的投影点尽可能远
  　　
  　　现在我们来讨论一下如何用数学语言表示这两条性质，现在我们首先从比较简单的二类LDA入手，分析LDA原理。
  

给定数据集 D = { ( x i , y i ) } i = 1 m D=\{(x_i,y_i)\}_{i=1}^{m} D={(xi​,yi​)}i=1m​，其中$x_i$为$n$维向量， y i ∈ { 0 , 1 } y_i \in \{0,1\} yi​∈{0,1}。令$X_i,{\mu }_i,{\Sigma }_i$分别表示第 i ∈ { 0 , 1 } i\in \{0, 1\} i∈{0,1}类样本的集合、均值向量、协方差矩阵，即：KaTeX parse error: No such environment: align* at position 7: \begin{̲a̲l̲i̲g̲n̲*̲}̲\mu_i&=\frac{1}…如果将数据投影到直线$w$上，则两类样本的中心在直线上的投影分别为$w^T{\mu }_0$和$w^T{\mu }_1$（图中实心圆和实心三角）。所有样本在直线上投影的协方差分别为$w^T{\Sigma }_{0}w$和$w^T{\Sigma }_{1}w$。于是我们可以有下面的结论：

• 同类样本的投影点尽可能近$\Rightarrow \min w^T{\Sigma }_{0}w+w^T{\Sigma }_{1}w$
• 异类样本的投影点尽可能远$\Rightarrow \max \Vert w^T{\mu }_0-w^T{\mu }_1{\Vert }_2^2$
  　　
  　　所以我们的优化目标为：$$\arg \underset{w}{\max }J(w)=\frac{\Vert w^T{\mu }_0-w^T{\mu }_1{\Vert }_2^2}{w^T{\Sigma }_{0}w+w^T{\Sigma }_{1}w}=\frac{w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w}{w^T({\Sigma }_0+{\Sigma }_1)w}\text{\hspace{1em}(4)}$$我们一般定义类内散度矩阵$S_w$为：$$S_w={\Sigma }_0+{\Sigma }_1=\sum _{x\in X_0}(x-{\mu }_0)(x-{\mu }_0{)}^T+\sum _{x\in X_1}(x-{\mu }_1)(x-{\mu }_1{)}^T\text{\hspace{1em}(5)}$$定义类间散度矩阵$S_b$为：$$S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T\text{\hspace{1em}(6)}$$则$J(w)$可重写为：$$J(w)=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}\text{\hspace{1em}(7)}$$然后这就是广义瑞利商的形式，那么如何确定$w$呢？
  　　注意到(7)中分子分母都是关于$w$的二次项，所以(7)的解与$w$大小无关，只与其方向有关，不妨取$w^{T}w=1$，即$w$为标准正交基，(4)等价于$$\arg \underset{w}{\max }{w}^T{S}_w^{-1}{S}_{b}ws.t.w^{T}w=1\text{\hspace{1em}(8)}$$然后这又又又又是一个约束优化问题，拉格朗日乘子法走起来，对应的拉格朗日函数为$$L(w,\lambda )=-w^T{S}_w^{-1}{S}_{b}w+\lambda (w^{T}w-1)\text{\hspace{1em}(9)}$$对$w$求导并令导数等于0可得：$$S_w^{-1}{S}_{b}w=\lambda w\text{\hspace{1em}(10)}$$和PCA一样的套路，又变成对$S_w^{-1}{S}_b$特征分解的问题了。对于二分类来说，$S_{b}w$的方向恒为${\mu }_0-{\mu }_1$，不妨令$S_{b}w=\lambda ({\mu }_0-{\mu }_1)$，代入(10)得：$$w=S_w^{-1}({\mu }_0-{\mu }_1)\text{\hspace{1em}(11)}$$所以，对于二分类样本，只要求出原始样本的均值和方差就能确定最佳的投影方向$w$了。

4. 多分类LDA原理

如果是多类向低维投影，则此时投影到的低维空间就不是一条直线，而是一个超平面了。优化目标变为：$$\arg \underset{w}{\max }{W}^T{S}_w^{-1}{S}_{b}Ws.t.W^{T}W=1\text{\hspace{1em}(12)}$$$W$为低维空间基向量组成的矩阵，$W\in {\mathbb{R}}^{d\times (N-1)}$，其中$N$为样本类别数。对于约束优化问题(12)，同样利用拉格朗日乘子法可以得到$W$的解是$S_w^{-1}{S}_b$的$d^{\prime }$个最大非零广义特征值所对应的特征向量组成的矩阵，$d^{\prime }\le N-1$。

5. LDA算法流程

输入：$d$维数据集 X = { ( x i , y i ) } i = 1 m X=\{(x_i,y_i)\}_{i=1}^{m} X={(xi​,yi​)}i=1m​， y i ∈ { 1 , 2 , … , N } y_i \in \{1,2,\dots,N\} yi​∈{1,2,…,N}，要降到的维度$d^{\prime }$
输出：降维后的数据集$X^{\prime }$
Step1: 计算类内散度矩阵$S_w$：$$S_w=\sum _{i=1}^N\sum _{x\in X_i}(x-{\mu }_i)(x-{\mu }_i{)}^T$$Step2: 计算类间散度矩阵$S_b$：$$S_b=\sum _{i=1}^N{m}_i({\mu }_i-\mu )({\mu }_i-\mu {)}^T$$其中$m_i$为第$i$类的样本数目，$\mu$为所有样本均值向量
Step3: 计算矩阵$S_w^{-1}{S}_b$
Step4: 对$S_w^{-1}{S}_b$进行奇异值分解，得到奇异值${\lambda }_i$及其对应的特征向量$w_i$，$i=1,2,\dots ,N-1$。
Step5: 取前$d^{\prime }$大的奇异值对应的特征向量组成投影矩阵$W$
Step6: 计算样本集中每个样本$x_i$在新的低维空间的投影$z_i$：$$z_i=W^T{x}_i$$
Step7: 得到降维后的样本集 X ′ = { ( z i , y i ) } i = 1 m X'=\{(z_i,y_i)\}_{i=1}^{m} X′={(zi​,yi​)}i=1m​

5. 小结

LDA降维和PCA降维有很多相似之处：
　　(1) 两者在降维时都使用了特征分解的思想
　　(2) 两者都假设数据符合高斯分布，因此LDA和PCA都不适合对非高斯分布的样本进行降维
　　相对于PCA，LDA又有所不同：
　　(1) LDA是有监督的降维方法，降维过程中可以使用类别的先验知识经验，而PCA不行
　　(2) LDA选择分类性能最好的投影方向，而PCA选择最大方差的投影方向，因此LDA有过拟合的风险
　　(3) LDA最多能降到$N-1$的维数，如果降维维度大于$N-1$，则不能使用LDA，而PCA没有这个限制
　　(4) 当样本分类信息依赖均值时LDA效果较好；依赖方差的时候PCA效果较好