第三章：线性模型（3）——线性判别分析

3.4线性判别分析

基本概念

• 线性判别分析：
  • 是一种经典的线性学习方法。
  • 在二分类问题上由Fisher于1936年提出，也称为“Fisher判别分析”。
  • 假设各类样本的协方差矩阵相同且满秩。

数学公式与定义

• 目标函数：
  $$J=\frac{|{\omega }^T({\mu }_0-{\mu }_1)|}{\sqrt{{\omega }^T{\Sigma }_0\omega +{\omega }^T{\Sigma }_1\omega }}$$
  其中μ0 和μ1是两类样本的中心点，Σ0 和 Σ1是两类样本的协方差矩阵。

• 类内散度矩阵：

  $$S_w={\Sigma }_0+{\Sigma }_1$$

  • 表示同一类内部样本点的离散程度。

• 类间散度矩阵：

  $$S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$$

  • 表示不同类别中心点之间的距离。

• 优化问题：
  $$\underset{\omega }{\max }\frac{{\omega }^T{S}_b\omega }{{\omega }^T{S}_w\omega }$$
  通过拉格朗日乘子法求解，得到：

  $$S_b\omega =\lambda S_w\omega$$

• 解的形式：

  $$\omega =S_w^{-1}({\mu }_0-{\mu }_1)$$

  • 通过对Sw 进行奇异值分解来稳定数值解。

多分类推广

• 全局散度矩阵
  $$S_t=S_b+S_w$$

  • 其中 Sb 和 Sw 重新定义为多分类形式。

• 优化目标：
  $$\underset{W}{\max }\frac{tr(W^T{S}_{b}W)}{tr(W^T{S}_{w}W)}$$

  • 其中 W 是一个投影矩阵，将样本投影到N-1 维空间。

• 闭式解：
  $$S_{b}W=\lambda S_{w}W$$

  • W 是由 $$S_w^{-1}{S}_b$$的 N-1个最大广义特征值对应的特征向量组成的矩阵。