线性判别分析LDA

线性判别分析是一种降维方法

也是一种特征提取方法

线性判别分析是一个线性变换，也就是将原始数据乘以一个变换矩阵$W$

$Y=W^TX$

其中$X$就是原始数据，$Y$是变换后的数据，也就是降维后的矩阵

由上面的示意图就可以看出，实际上LDA就是致力于把数据投影到一个低维空间里面去，在这个低维空间里面，数据具有最大的可分性

公式的推导

设高维特征集 $X={x_1,x_2,...,x_n}$，其中有$n_1$个样本属于第一类$\omega_1$， $n_2$个样本属于$\omega_2$，以此类推，设一共有$C$类，有$n_C$个样本属于$\omega_C$，则存在一个变换矩阵$W$使得

$Y=W^TX$

假设$m_1,m_2,...,m_C$分别为变换前的每一类样本的均值向量

$m$是变换前所有样本的均值向量

假设$\mu_1,\mu_2,...,\mu_C$分别为变换后的每一类样本的均值向量

则有：

$\mu_1=W^Tm_1,\mu_2=W^Tm_2,...,\mu_C=W^Tm_C$

总体均值也存在这样的关系：

$\mu=W^Tm$

设类间散度描述如下：

$J1= \sum \limits_{c=1}^C n_c\Vert\,\mu_c-\mu\Vert^2\\ \ \ \ \ \ =\sum\limits_{c=1}^Cn_c\Vert W^Tm_c-W^Tm\Vert^2\\ \ \ \ \ \ =Tr(W^TS_BW)$

其中$S_B=\sum\limits_{c=1}^Cn_c(m_c-m)(m_c-m)^T$，这是变换前的数据的类间离散度矩阵

设类内离散度矩阵如下：

$J2=J2_1+J2_2+...+J2_C\\ \ \ \ \ =\sum\limits_{x\in\omega_1}\Vert W^Tx-W^Tm_1\Vert^2+...+\sum\limits_{x\in\omega_C}\Vert W^Tx-W^Tm_C\Vert^2\\ \ \ \ \ =Tr(W^TS_WW)$

其中$S_W=\sum\limits_{c=1}^C\sum\limits_{x\in\omega_c}(x-m_c)(x-m_c)^T$，这个矩阵表示类内离散度矩阵

那么LDA实际上致力于使得变换后的数据具有最大可分性，因此它的模型如下：

$\max\limits_W\dfrac{J1}{J2}=\max\limits_W\dfrac{Tr(W^TS_BW)}{Tr(W^TS_WW)}$

可以转换为求解下面的特征方程：

$S_BW=\lambda S_WW$

把$S_W$移到左边就可以发现，其实是求$S_W^{-1}S_B$的特征值和特征向量

将求出来的特征向量按序逐列排列，就得到$W$了，$W$有$C-1$列

为什么LDA降维只能降到C-1维?

为什么求出来的$W$是$C-1$列的？

因为$S_W^{-1}S_B$只有$C-1$个特征值。

观察$S_B$的表达式可以发现，它由$C$个矩阵相加而成

因此它的秩小于等于这$C$个矩阵的秩之和

观察这$C$个矩阵可以发现，他们都是由一个列向量乘以这个列向量的转置而得到的

这样的矩阵的秩小等于1

因此$S_B$的秩小等于$C$

而实际上，$\mu_k-\mu$可以由其他$C-1$个$\mu_i$线性表示
因此因此$S_B$的秩为$C-1$

同理可得$S_W$的秩为$C$

因此$S_W^{-1}$的秩也为$C$

因此$S_W^{-1}S_B$的秩为$C-1$（因为两矩阵相乘的秩小于秩较小的那个矩阵的秩）

而秩就代表了非零特征值的个数