机器学习基础---降维方法---线性判别分析（LDA）推导

线性判别分析（LDA）

算法描述

核心思想：

• LDA方法属于有监督降维，其需要由标签信息输入
• 算法目标是将样本矩阵X经过线性映射W投影到子空间，使降维后样本类间距离尽可能远，类内方差足够小（最大化类间距离，最小化类内距离）

相关定义：

• 输入数据集$X=[x_1,x_2,...,x_N]$

• 定义指示矩阵F，矩阵大小为N*C（样本数*类别数）；该矩阵每个行向量$F_i$与样本$x_i$对应，当$x_i$为第c类样本，$F_{ic}=1$且$F_i$其他元素为0

  • 有关F的计算：

    • $$\begin{gathered} \underset{C\ast C}{F^{T}F}=\left[\begin{array}{cccc}{n}_1& 0& ...& 0\\ 0& n_2& ...& 0\\ ...& ...& ...& ...\\ 0& 0& ...& n_c\end{array}\right] \\ (n_i为第i类样本的数量) \end{gathered}$$

    • $$\begin{gathered} XF=[\sum _j{x}_j^1,\sum _j{x}_j^2,...,\sum _j{x}_j^C] \\ (x_j^c代表第c类的第j个样本；XF的列向量X_{\_j}代表第j类样本向量之和) \end{gathered}$$

    • $$\begin{gathered} M=XF(F^{T}F{)}^{-}1=[u_1,u_2,...u_c] \\ (u_i为第i类样本均值) \end{gathered}$$

    • $$\begin{gathered} M{F}^T=[u_{c1},u_{c2},...,u_{cn}] \\ (u_{ci}代表第i个样本对应类别的均值) \end{gathered}$$

• 瑞利商：

  • 函数$R(A,x)=\frac{x^{T}Ax}{x^{T}x}$称作广义瑞利商
  • 有性质：瑞利商最大值等于矩阵A最大的特征值，最小值等于矩阵A的最小的特征值

• 广义瑞利商：

  • 函数$R(A,B,x)=\frac{x^{T}Ax}{x^{T}Bx}$称作广义瑞利商

  • 标准化，令：$x=B^{-\frac{1}{2}}{x}^{\prime }$，得：
    $$\begin{gathered} x^{T}Bx=x^{\prime T}(B^{-\frac{1}{2}}{)}^{T}B{B}^{-\frac{1}{2}}{x}^{\prime }=x^{\prime T}{B}^{-\frac{1}{2}}B{B}^{-\frac{1}{2}}{x}^{\prime }=x^{\prime T}{x}^{\prime } \\ {x}^{T}Ax=x^{\prime T}{B}^{-\frac{1}{2}}A{B}^{-\frac{1}{2}}{x}^{\prime } \end{gathered}$$

    $$R(A,B,x)=\frac{x^{\prime T}{B}^{-\frac{1}{2}}A{B}^{-\frac{1}{2}}{x}^{\prime }}{x^{\prime T}{x}^{\prime }}$$

  • 结合瑞利商性质，R(A,B,x′)R(A,B,x′)的最大值为矩阵$B^{-\frac{1}{2}}A{B}^{-\frac{1}{2}}$最大特征值，最小值为矩阵$B^{-\frac{1}{2}}A{B}^{-\frac{1}{2}}$的最小特征值

• 类间散度矩阵$S_b$：

  • 目的是令各类之间尽可能分开，可以用各类样本中心方差表示：

  $$S_w=\sum _{i=1}^C{n}_i(u_i-\bar{u})(u_i-\bar{u}{)}^T$$

  • 矩阵形式：
    $$\begin{array}{rl}{S}_w& =(X-XF(F^{T}F{)}^{-1}{F}^T)(X-XF(F^{T}F{)}^{-1}{F}^T{)}^T\\ & =(X-M{F}^T)(X-M{F}^T{)}^T\\ & =X{X}^T-M{F}^T{X}^T\\ & =X{X}^T-XF(F^{T}F{)}^{-1}{F}^T{X}^T\\ & (M=XF(F^{T}F{)}^{-1})\end{array}$$

• 类内散度矩阵$S_w$：

  • 目的是同类之间尽可能集中，因此可以用各类样本方差$S_{wi}$之和表示：

  $$S_b=\sum _{i=1}^C{S}_{w_i}=\sum _{i=1}^C\sum _{j=1}^{N_i}(x_i^j-u_i)(x_i^j-u_i{)}^T$$

  • 矩阵形式：
    $$\begin{array}{rl}{S}_b& =S_t-S_w=XF(F^{T}F{)}^{-1}{F}^T{X}^T\end{array}$$

• $S_w与S_b$满足：$S_t=W{W}^T=S_b+S_w$

  证明：
  $$\begin{array}{rl}{S}_t-S_w& =\sum _{i=1}^N(x_i-\bar{x})(x_i-\bar{x}{)}^T-\sum _{i=1}^C\sum _{j=1}^{N_j}(x_j-\overline{x_i})(x_j-\overline{x_i}{)}^T\\ & =\sum _{i=1}^C\sum _{j=1}^{N_j}[(x_j-\bar{x})(x_j-\bar{x}{)}^T-(x_j-\overline{x_i})(x_j-\overline{x_i}{)}^T]\\ & =\sum _{i=1}^C\sum _{j=1}^{N_j}[x_j{x}_j^T-x_j{\bar{x}}^T-\bar{x}{x}_j^T+\bar{x}{\bar{x}}^T-x_j{x}_j^T+x_j{\overline{x_i}}^T+\overline{x_i}{x}_j-\overline{x_i}{\overline{x_i}}^T]\\ & =\sum _{i=1}^C\sum _{j=1}^{N_j}[-x_j{\bar{x}}^T-\bar{x}{x}_j^T+\bar{x}{\bar{x}}^T+x_j{\overline{x_i}}^T+\overline{x_i}{x}_j-\overline{x_i}{\overline{x_i}}^T]\end{array}$$
  ​ 取第i类：
  $$\begin{array}{rl}& -\sum _{j=1}^{N_i}{x}_j{\bar{x}}^T-\sum _{j=1}^{N_i}\bar{x}{x}_j^T+\sum _{j=1}^{N_i}\bar{x}{\bar{x}}^T+\sum _{j=1}^{N_i}{x}_j{\overline{x_i}}^T+\sum _{j=1}^{N_i}\overline{x_i}{x}_j-\sum _{j=1}^{N_i}\overline{x_i}{\overline{x_i}}^T\\ & =-N_i\overline{x_i}\bar{x}-N_i\bar{x}\overline{x_i}+N_i\bar{x}{\bar{x}}^T+N_i\overline{x_i}{\overline{x_i}}^T+N_i\overline{x_i}{\overline{x_i}}^T-N_i\overline{x_i}{\overline{x_i}}^T\\ & =N_i(-\overline{x_i}{\bar{x}}^T-\bar{x}{\overline{x_i}}^T+\bar{x}{\bar{x}}^T+\overline{x_i}{\overline{x_i}}^T)\\ & =N_i(\overline{x_i}-\bar{x})(\overline{x_i}-\bar{x}{)}^T\end{array}$$
  ​ 累加得：
  $$\begin{array}{rl}{S}_t-S_w& =\sum _{i=1}^C{N}_i(\overline{x_i}-\bar{x})(\overline{x_i}-\bar{x}{)}^T=S_b\end{array}$$

目标优化推导：

• 优化目标：

  对线性映射$Y=W^{T}X$，优化的方向是：

  • 同类样本投影后尽可能接近 ==> 对同类样本，投影后的$W^T{x}_i$之间方差尽可能小

    • 最大化目标：
      $$\sum _{i=1}^C{W}^T{X}_i{X}_i^{T}W=S_w=\sum _{i=1}^C{W}^T\sum _{i}W=W^T{S}_{w}W$$

  • 异类样本投影后尽可能远离 ==> 对异类样本，投影后样本中心点$W^T{u}_i$之间方差尽可能大

    • 最小化目标：
      $$\sum _{i=1}^C\sum _{j=1}^{N_i}(W^T{x}_i^j-W^T{u}_i)(W^T{x}_i^j-W^T{u}_i{)}^T=W^T{S}_{b}W$$

  • 可以定义优化目标为：
    $$\underset{W}{\mathrm{argmax}}J(W)=\underset{W}{\mathrm{argmax}}\frac{{\prod }_{diag}(W^T{S}_{b}W)}{{\prod }_{diag}(W^T{S}_{w}W)}$$
    $J(W)$可转化为广义瑞利商的乘积：
    $$J(W)=\frac{{\prod }_{diag}(W^T{S}_{b}W)}{{\prod }_{diag}(W^T{S}_{w}W)}=\frac{{\prod }_{i=1}^m{w}_i^T{S}_{b}w}{{\prod }_{i=1}^m{w}_i^T{S}_{w}w}=\prod _{i=1}^m\frac{w_i^T{S}_{b}w}{w_i^T{S}_{w}w}$$
    根据广义瑞利商性质，有：

    $\frac{w_i^T{S}_{b}w}{w_i^T{S}_{w}w}$最大值m个为矩阵$S_w^{-1}{S}_b$的最大m个特征值，此时m个特征值对应的m个特征向量张成矩阵W

• 矩阵形式推导：

  • 定义目标函数：
    $$\underset{W}{\mathrm{argmax}}J(W)=\underset{W}{\mathrm{argmax}}\frac{tr(W^T{S}_{b}W)}{tr(W^T{S}_{w}W)}$$

    约束$tr(W^T{S}_{w}W)=n$，即$W^T{S}_{w}W=I$

    此时优化目标为：
    $$\begin{gathered} \underset{W}{\max }tr(W^T{S}_{b}W) \\ s.t.W^T{S}_{w}W=I \end{gathered}$$
    使用拉格朗日乘子法，将目标转换为：
    $$L=tr(W^T{S}_{b}W)-tr(\Lambda (W^T{S}_{w}W-I))$$
    求导，令对W偏导为0，得：
    $$\begin{gathered} 2S_{b}W-2\Lambda S_{m}W=0 \\ 得：S_{b}W=\Lambda S_{m}W \\ 有：S_m^{-1}{S}_{b}W=\Lambda W \end{gathered}$$
    与先前在PCA过程中的推导类似，得到W由$S_m^{-1}{S}_b$的特征向量作为列向量构成，且为了最大化目标函数，选取的特征向量应该是最大m个特征值对应的特征向量

算法流程

1）输入：样本向量集$X=[x_1,x_2,...,x_n]$；样本标签$Y=[y_1,y_2,...,y_n{]}^T$， y i ∈ { c 1 , c 2 , . . . , c C } y_i\in \{c_1,c_2,...,c_C\} yi​∈{c1​,c2​,...,cC​}；目标维度m

2）计算类内散度矩阵$S_w$，类间散度矩阵$S_b$

3）计算$S_w^{-1}{S}_b$，并进行特征值分解，得到最大m个特征值与对应特征向量$w_1,w2,...,w_m$

4）对$W=[w_1,w_2,...,w_m]$，对原样本集进行变换，得到$Y^{\prime }=W^{T}X$，完成降维

参考资料

【1】线性判别分析LDA原理总结

【2】《统计学习方法》李航