LDA简介

注：最近在看LDA，其实之前也看过，也了解过LDA，但是最近想要追根溯源，想去看看LD的发展的路径，所以决定从头开始看LDA。

这篇博客中介绍的LDA是最原始的，Fisher的论文(The use of multiple measurements in taxonomic problems)中介绍的，此处介绍一下这篇论文中针对LDA的求解方法以及思路。

问题描述

Fisher最初引入LDA是为了解决二分类问题，在论文中用的例子是比较经典的鸢尾花的分类问题。说是有三类鸢尾花，每个鸢尾花对应有四个特征，要给鸢尾花们进行分类。但是论文中在讲述算法的时候还是去解决的二分类问题，也就是去区分两类鸢尾花。此处我们先把四个特征用$x_1,x_2,x_3,x_4$来表示，开篇提出的思路就是能否找到一个线性函数$X={\lambda }_1{x}_1+{\lambda }_2{x}_2+{\lambda }_3{x}_3+{\lambda }_4{x}_4$，该线性函数能够最大化类的均值之间的差别(the difference between the specific means)和类内标准差(the standard deviations within species)的比值。

算法求解

首先，我们将两个不同种类的鸢尾花的均值之间的差记作$d_1,d_2,d_3,d_4$，这四个均值之间的差在用前面提到的线性函数作用后得到$D={\lambda }_1{d}_1+{\lambda }_2{d}_2+{\lambda }_3{d}_3+{\lambda }_4{d}_4$，之后我们就要来定义类内标准差了，此处虽然说的是标准差，但是用的其实还是协方差阵。此处记为$S$，S有如下结构：
$$S=\left[\begin{array}{cccc}{S}_{11}& S_{12}& S_{13}& S_{14}\\ S_{12}& S_{22}& S_{23}& S_{24}\\ S_{13}& S_{23}& S_{33}& S_{34}\\ S_{14}& S_{24}& S_{34}& S_{44}\end{array}\right]$$
注意上面这个矩阵是协方差阵，是对称矩阵，所以我就把对称部分标记为同一个$S_{ij}$了。所以我们最终的目标就是要最大化
$$\frac{D^2}{W}$$
其中，$W=y^{T}Sy,y=[{\lambda }_1,{\lambda }_2,{\lambda }_3,{\lambda }_4{]}^T$。上面那个优化目标，就是之后在LDA问题中会一直提到的Fisher准则，对于该优化目标的求解，Fisher并没有用广义特征值问题去求解，而是用的求导的方法：
D W 2 { 2 W ∂ D ∂ y − D ∂ W ∂ y } = 0 ; \frac{D}{W^2}\{2W\frac{\partial D}{\partial y}-D\frac{\partial W}{\partial y}\}=0; W2D​{2W∂y∂D​−D∂y∂W​}=0;
上面的求导用到了一个重要的矩阵微分公式：$\frac{\partial x^{T}Ax}{\partial x}=Ax+A^{T}x$，其中$x$为向量，此处需要注意$W$为对称矩阵，所以有个系数2。
将上面的式子移项之后就得到
$$\frac{1}{2}\frac{\partial W}{\partial y}=\frac{W}{D}\frac{\partial D}{\partial y},$$
此时注意，$\frac{S}{D}$是一个常数，所以把上面的式子展开就得到
$$\begin{gathered} S_{11}{\lambda }_1+S_{12}{\lambda }_2+S_{13}{\lambda }_3+S_{14}{\lambda }_4=d_1, \\ {S}_{12}{\lambda }_1+S_{22}{\lambda }_2+S_{23}{\lambda }_3+S_{24}{\lambda }_4=d_2, \\ {S}_{13}{\lambda }_1+S_{23}{\lambda }_2+S_{33}{\lambda }_3+S_{34}{\lambda }_4=d_3, \\ {S}_{14}{\lambda }_1+S_{24}{\lambda }_2+S_{34}{\lambda }_3+S_{44}{\lambda }_4=d_4. \end{gathered}$$
上面的展开中，舍去了一些常数倍，所以最终得到的$y$的方向是正确的的，但是大小会跟真实结果相差一个倍数，其实无所谓了，反正最后会标准化。
其实上面的那个方程组我们可以写成矩阵的形式：
$$Sy=[d_1,d_2,d_3,d_4{]}^T,$$
当$S$为正定矩阵时，我们就可以得到$y=S^{-1}[d_1,d_2,d_3,d_4{]}^T$，所以我们就求得了线性函数的系数。
所以到这里，LDA算法就可以求解出来了，上面求得的$y$就是Fisher最优投影轴，样本在投影到这个方向上后，能够使得类内散度最小，而类间散度最大。
在这篇文献中，只给出了求解一个最优投影轴的方向，如果想求解多个的话，没有给出方法，当然后面有文献给出了具体的方法。
这篇文献后面还给出了一些实验来对算法进行解释，这里就不提供了。之后文献也对算法进行了分析，但是我没看懂，以后看懂了再来添加吧。