机器学习算法直观解释及数学原理手把手推导2——Fisher线性判别分析（LDA/FLD）

机器学习算法直观解释及数学原理手把手推导2——Fisher线性判别分析（LDA/FLD）

本文旨在提供对线性判别分析方法（以下简称LDA）全面通俗的解释，并且会在几个知识需求层面进行分类，对于不同需求我会在文章中穿插阅读顺序，每个部分所需要的先修知识我会先说出来，如果需要查缺补漏的话可以移步传送门（如果原作者介意请联系我删除），尽可能地让各种不同深度需求的小伙伴都能够尽可能看懂。如有谬误，欢迎各路大佬指出。

一、算法直观理解

PCA的局限性

有些时候，PCA并不是降维中的万能手段（关于PCA和数据降维，可以参考另一篇我的文章：机器学习算法数学原理手把手推导之主成分分析），里面有PCA的直观理解、详细推导和数据降维的内容），尤其是当标签和数据分布具有比较强的相关性的时候。比如我们拿到一组关于调查肥胖症的数据，在这数据集中，数据的标签是“是否患有肥胖症”。假如其中一个数据的特征是“体重”，结合我们生活实际，就可以知道绝大部分体重值很大的人都是患有肥胖症的。所以如果我们把这组数据集放到特征空间中并用不同颜色标注数据的标签，体重值高的这一部分数据很可能是同一组颜色的。如果我们还是用PCA的话，可能效果就不会很好了。为什么呢？直接上图。

我们可以看到，假设我们用上述数据集放到坐标空间中（具体几维的数据不重要，我只是想展示一个分布的效果，另外这里的蓝红箭头并不是x和y轴），蓝色代表没有肥胖症的，红色代表有肥胖症的，并且是否有肥胖症跟数据的分布有很强的相关性。如果我们使用PCA的话，也就是找出能让数据最分散的方向，那就是图中蓝色箭头所在的方向。这时候问题就来了，如果你把蓝色和黄色的点都投影到蓝色箭头上，那岂不是蓝色和黄色的点都混在一起了？还不如不投影直接看呢。

但是就一点办法都没了吗？也不是，如果我们按照图中红色箭头的方向进行投影，是不是也能很好的区分开两种类别呢？这样我们还是只需要计算一维的数据，而不是二维的数据，数据降维的目的也达到了。

LDA直观理解

其实我个人认为这并不是PCA算法的问题，而是PCA根本就不是用来做有标签数据的降维。当我们面对有标签数据的时候，不妨可以试一下LDA——这是一个有监督学习的降维方法。换句话说，LDA的降维操作会跟数据的标签密切相关，最后降维后的数据也应该能够跟原数据一样，能够尽可能保持对不同类别的区分度。

这就是LDA要做到的目标。我们拆解一下这个目标来理解，什么样的情况才会让我们很快地就能看出两个不同的类别呢——不同类间能够彼此分开，而相同类的点能够彼此尽可能的扎堆。我们放到坐标空间里面说就是：不同类之间的距离要尽可能的远，而相同类之间不能分布太散，这两个条件缺一不可。

所以，综合上面的理解，LDA要做到的就是：找到一个或多个方向，能使得所有数据点投影到这组方向的时候能够保持以下两种特性：1.不同类之间的距离要尽可能远；2.相同类之间的数据点要尽可能分布紧密。

接下来我会先讲算法的推导。因为整个算法过程跟推导过程中要用到的变量密切相关，如果只是为了依葫芦画瓢做计算题可以只看构建优化目标函数部分然后跳到算法过程部分，了解几个量的意义即可。

二、算法推导

本部分涉及数学推导，需要的先修知识有：线性代数中的矩阵运算，向量内外积，优化问题中的拉格朗日乘子法；另外，在做数学推导的时候只考虑两个类的过程，多类推广会在最后提供

构建优化目标函数

对于一个二分类问题，一共有两个类$C_1,C_2$，数据点用$x_i$表示，数据总量用$N$表示，每个类的数据点数量为$N_{C_1},N_{C_2}$。

我们把LDA投影后的数据特性依次量化，首先对于第一个特性，用每个类的均值点的差的平方来代表不同类之间的距离（以后简称类间距）。假设两个类二点均值点分别为$m_1,m_2$（$m_1=\frac{{\sum }_{i\in C_1}^{N_{C_1}}{x}_i}{N_{C_1}}$），那么我们表示类间距可以用$(m_2-m_1{)}^2$。为什么不用距离差的平方开根号之类的其他量呢？其实这没有什么差别，看推导的过程其实就能够慢慢体会了。

针对第二个特性，在PCA那一章其实就能了解到，衡量一组数据是否分散，可以用方差来形容，所以，对于所有类内的数据点是否分布紧密，我们可以将每个类的方差做一个累加（平不平均不重要，只是除以一个常数的事情），所以我们可以用$s_1^2+s_2^2$来代表这个特性，其中$s_1,s_2$是两个类数据点的标准差。

那怎么样把这两个特性组合起来呢？我们可以将二者分别作为分子和分母，最大化第一个特性的同时也能最小化第二个特性，这样就能一举两得，同时达到目的了。所以我们要优化的式子就是：
$$f(m,s)=\frac{(m_2-m_1{)}^2}{s_1^2+s_2^2}$$
之后的推导我会放到解优化问题部分进行，现在先定义几个度量：

• 类内散度（矩阵）：$S_{C_k}={\sum }_{y_i\in C_k}^{N_{C_k}}(x_i-{\mu }_k)(x_i-{\mu }_k{)}^T={\sum }_{y_i\in C_k}^{N_{C_k}}(x_i-{\mu }_k{)}^2$，这个其实就是没有除以数量$N_{C_k}$的方差矩阵（注意转置在后面）；
• 总散度：$S_w=S_{C_1}+S_{C_2}$，就是把每一类的类内散度做一个求和；
• 类间距：$S_B=({\mu }_2-{\mu }_1)({\mu }_2-{\mu }_1{)}^T$，代表两类中心之间的距离；

这里的$x_i$是原空间的数据点向量，$\mu$也是原空间的数据类内平均值向量；

解优化问题

我们分析一下$f(m,s)$，可以发现这是个经过投影，在新空间的表示形式，和PCA一样，我们把它一步步转化成原空间的表示形式。为什么会有这种想法呢？这是个优化问题，我们要优化的目标已经确定，但是我们要优化的对象是什么？我们要寻找一个方向向量能够使目标函数最大化，所以优化的对象得是这个方向向量。我们假设方向向量是$w$，因此我们要将$f(m,s)$转化为$f(w)$的形式。

由向量投影的知识我们知道，在新空间中的向量表示等于原向量与新空间方向向量的内积。所以，新空间的目标点$u_i=w^T{x}_i$；同理，均值向量也是原空间的一个向量，而投影并不会改变数据点之间的平行性，因此原空间中的类内均值仍然在新空间中也是该类的均值，所以我们有：$m_k=w^T{\mu }_k$，k指的是第k类。针对目标函数中的方差，我们可以知道$s_k={\sum }_{y\in C_k}^{N_{C_k}}(u_i-m_k{)}^2$，那么我们将三个等式代入目标函数：
$$\begin{array}{rl}f(m,s)& =\frac{(m_2-m_1{)}^2}{s_1^2+s_2^2}\\ & =\frac{(w^T{\mu }_2-w^T{\mu }_1)(w^T{\mu }_2-w^T{\mu }_1{)}^T}{{\sum }_{y\in C_1}^{N_{C_1}}(u_i-m_1{)}^2+{\sum }_{y\in C_2}^{N_{C_2}}(u_i-m_2{)}^2}\\ & =\frac{w^T({\mu }_2-{\mu }_1)({\mu }_2-{\mu }_1{)}^{T}w}{w^T{\sum }_{y\in C_1}^{N_{C_1}}(x_i-{\mu }_1{)}^{2}w+w^T{\sum }_{y\in C_2}^{N_{C_2}}(x_i-{\mu }_2{)}^{2}w}\\ & =\frac{w^T({\mu }_2-{\mu }_1)({\mu }_2-{\mu }_1{)}^{T}w}{w^T({\sum }_{y\in C_1}^{N_{C_1}}(x_i-{\mu }_1{)}^2+{\sum }_{y\in C_2}^{N_{C_2}}(x_i-{\mu }_2{)}^2)w}\end{array}$$
这里整体的思路相当于不断地把投影方向向量$w$不断地往外提。推到这里，我们就可以把之前定义的量全部带进来了：
$$f(m,s)=\frac{w^T{S}_{B}w}{w^T{S}_{w}w}=f(w)$$
同时，因为我们投影到的地方是一个方向向量，所以我们要添加一个限制条件$w^{T}w=1$，这样优化问题就是：
$$\begin{gathered} maximizef(w)=\frac{w^T{S}_{B}w}{w^T{S}_{w}w} \\ s.t.w^{T}w=1 \end{gathered}$$
使用拉格朗日乘子法转化问题：
$$\begin{gathered} maximizeL(w,\lambda )=\frac{w^T{S}_{B}w}{w^T{S}_{w}w}-\lambda (w^{T}w-1) \\ s.t.\lambda \ge 0 \end{gathered}$$
这个写法相当的复杂，我们需要用到广义特征值转化的方法进行转化（广义特征值问题：【矩阵论】广义特征值问题），有兴趣的朋友可以看传送门里面的文章进行深究，转化后的问题为：
$$\begin{gathered} maximizeL(w,\lambda )=S_{B}w-\lambda S_{w}w \\ s.t.\lambda \ge 0 \end{gathered}$$
这个时候我们展开$S_{B}w$，神奇的事情发生了：
$$S_{B}w=({\mu }_2-{\mu }_1)({\mu }_2-{\mu }_1{)}^{T}w$$
仔细观察右边的式子，$({\mu }_2-{\mu }_1{)}^{T}w$左右两边的维度相等（因为都是基于原空间的向量），那就说明这两者之积一定是一个数（假设为$\alpha$），即$S_{B}w=\alpha ({\mu }_2-{\mu }_1)$，这说明$S_{B}w$其实是跟$({\mu }_2-{\mu }_1)$平行的！同时我们回过头看$S_B$，这个东西也是一个跟$({\mu }_2-{\mu }_1)$有关的量！一个向量$v$与另一个向量$u$相乘还能得到与$v$平行的向量，说明与之相乘的$u$也是一个跟$v$平行的向量。换句话说，$w$就是跟$({\mu }_2-{\mu }_1)$平行的向量，$w$的方向就是由$({\mu }_2-{\mu }_1)$的方向决定的。

也就是说，我们找到$({\mu }_2-{\mu }_1)$的方向，这个问题就差不多能解决了，最后只需要解$w=S_w^{-1}({\mu }_2-{\mu }_1)$即可。最后一个小问题：这个式子怎么来的？对目标函数同右乘一个$w^{-1}$，左乘一个$S_w^{-1}$即可。整个推导过程最关键的就在于弄明白上面说的平行关系。

有时候不一定需要解出一个问题才能得到答案，过程当中的某一步就是解开问题的钥匙。

三、算法过程

二分类算法过程

通过上述证明，求解LDA的问题就简单很多了，整体的算法步骤如下：

• 计算两类的类内均值${\mu }_1,{\mu }_2$；
• 计算$S_w$；
• 使用$w=S_w^{-1}({\mu }_2-{\mu }_1)$；
• 最后归一化$w^{\prime }=\frac{w}{||w||}$；

$w^{\prime }$即为所求方向向量，最后将数据点投影即可；

附上一道LDA的计算例题，英文自行翻译即可：

这里面用到$S_B$是防止$S_w$没有逆矩阵的情况的伪逆过程，一般手算计算题不会出现，遇到了多半也是放进代码里求解。。（希望别打脸）

多类问题的推广

假设有$N$个样本，$C$类，那么我们需要求：

• 数据整体的均值$\mu =\frac{1}{C}{\sum }_{i=1}^C{\mu }_i$，${\mu }_i$是每类的均值；
• $S_w={\sum }_{k=1}^C{S}_k$，$S_k$就是每类的散度矩阵；
• $S_B={\sum }_{i=1}^C{N}_i({\mu }_i-\mu )({\mu }_i-\mu {)}^T$，把每一类的均值跟整体均值做差再平方乘以类内数量$N_i$，这个的意义其实就是把类内每个点跟整体均值点求一次差异度；

是每类的散度矩阵；

• $S_B={\sum }_{i=1}^C{N}_i({\mu }_i-\mu )({\mu }_i-\mu {)}^T$，把每一类的均值跟整体均值做差再平方乘以类内数量$N_i$，这个的意义其实就是把类内每个点跟整体均值点求一次差异度；

谢谢观看！