【ML】降维：LDA线性判别分析

LDA线性判别分析

有监督降维。目标是降维后的组内（同一类别）方差小，组间（不同类别）方差大。

作用：

• 降维
  

• 分类

LDA的原理

1.将原有的$p$维数据集，转换为$k$维数据，$k<p$

  寻找当前所在的$p$线性空间的一个$k$维线性子空间，在这个$k$维空间表示这些数据（将数据投影到$k$维空间）；

2.按照类别区分新生成的$k$维数据，同一类别的数据点距离越近越好，不同类别间距离越远越好

  与PCA相比，LDA更关心分类而不是方差。

  如果将数据直接投影到连接两中心的向量上降维，数据会有重叠，并不是最优。本来可以进行线性分割数据，降维后无法进行线性分割了。
  为减少重叠，降维的数据应满足两个特征：

• 不同类别数据降维后相互间的差异大；
• 同一类别数据降维后相互间的差异小；

也就是说，最大化类间距离和最小化类内距离。

LDA的推导

  设有包含$n$个样本的训练数据集$T$，共有$C$个类别，第$i$个类别有$n_i$个样本，可写第$i$个类别的数据集 D i = { x i j , j = 1 , 2 , . . . , n i } D_i=\{x_i^j, j=1,2,...,n_i\} Di​={xij​,j=1,2,...,ni​}，其中每个样本$x_i^j$都是$p$维的列向量，$i=1,2,...,C$，每个类别的样本均值及方差为，
$${\mu }_i=\frac{1}{n_i}\sum _{j=1}^{n_i}{x}_i^j$$

$$s_i^2=\frac{1}{n_i-1}\sum _{j=1}^{n_i}(x_i^j-{\mu }_i{)}^2$$
整体的均值，
$$\mu =\frac{1}{n}\sum _{i=1}^C\sum _{j=1}^{n_i}{x}_i^j$$

情形一：$C=2$

  数据集只有两个类别，我们现在要将原始数据降低到只有一维。设$w$是一个合适的投影方向，现在推导$w$应该满足什么条件。
  样本$x_i^j$在$w$方向的投影，
$$y_i^j=w^T{x}_i^j,j=1,...,n_i,i=1,2$$
投影后每个类别的样本均值与样本方差为，
$${\tilde{\mu }}_i=\frac{1}{n_i}\sum _{j=1}^{n_i}{y}_i^j=\frac{1}{n_i}\sum _{j=1}^{n_i}{w}^T{x}_i^j=w^T{\mu }_i,i=1,2$$

$${\tilde{s}}_i^2=\frac{1}{n_i-1}\sum _{j=1}^{n_i}(y_i^j-{\tilde{\mu }}_i{)}^2=\frac{1}{n_i-1}\sum _{j=1}^{n_i}(w^T(x_i^j-{\mu }_i){)}^2=w^T{s}_i^{2}w,i=1,2$$
我们希望投影后两类样例中心尽量地分离，即
$$\max |\widetilde{{\mu }_1}-\widetilde{{\mu }_2}|=\max |w^T({\mu }_1-{\mu }_2)|$$
同时，我们希望投影后类内部方差${\tilde{s}}_i^2$越小越好，于是，得到目标函数，
$$\underset{w}{\max }J(w)=\frac{|\widetilde{{\mu }_1}-\widetilde{{\mu }_2}{|}^2}{{\tilde{s}}_1^2+{\tilde{s}}_2^2}=\frac{w^T({\mu }_1-{\mu }_2)({\mu }_1-{\mu }_2{)}^{T}w}{w^T(s_1^2+s_2^2)w}$$
定义类间散度矩阵$S_b$及类内散度矩阵$S_w$如下，
$$S_w=\sum _{i=1}^2\sum _{j=1}^{n_i}(x_i^j-{\mu }_i)(x_i^j-{\mu }_i{)}^T$$

$$S_b=({\mu }_1-{\mu }_2)({\mu }_1-{\mu }_2{)}^T$$

则可写目标函数，
$$\underset{w}{\max }J(w)=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$$
最大化$J(w)$只需对$w$求偏导，并令导数等于0，即令分子为0，
$$(w^T{S}_{w}w)S_{b}w=(w^T{S}_{b}w)S_{w}w$$
记$\lambda =\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$，这是最优目标函数值，一个常数，带入上式得到，
$$S_{b}w=\lambda S_{w}w$$
$S_w$是协方差阵，可逆，两边左乘$S_w^{-1}$，
$$S_w^{-1}{S}_{b}w=\lambda w$$
至此，我们得到，最大化的目标对应了矩阵的最大特征值，而投影方向就是这个特征值对应的特征向量。

情形二：$C>2$

  数据集不只两个类别，降一维已经不能满足分类要求，需要$k$个基向量来做投影，$W=(w_1,w_2,...,w_k)$，其中$w_i$是$p$维列向量，记样本$x$在这组基上投影的结果为$y=(y_1,y_2,...,y_k)$，
$$y_i=w_i^{T}x,y=W^{T}x$$
  类似地，可以定义，

• 类间散度矩阵
  $$S_b=\sum _{i=1}^C{n}_i({\mu }_i-\mu )({\mu }_i-\mu {)}^T$$
• 类内散度矩阵
  $$S_w=\sum _{i=1}^C{S}_{w_i},S_{w_i}=\sum _{x\in D_i}(x-{\mu }_i)(x-{\mu }_i{)}^T$$
• 全局散度矩阵
  $$S_t=S_b+S_w=\sum _{i=1}^n(x_i-\mu )(x_i-\mu {)}^T$$

多分类LDA有多种实现方法：采用$S_b,S_w,S_t$中的任意两个。

例如：
$$\underset{w}{\max }\frac{tr(W^T{S}_{b}W)}{tr(W^T{S}_{w}W)}⟹S_{b}W=\lambda S_{w}W$$

参考：
线性判别分析LDA详解