CH5 线性判别分析（LDA）

CH5 线性判别分析（LDA）

5.1 LDA原理

将高维的样本数据投影到最佳判别向量空间，以达到特征提取（维数约简）的效果，投影后保证样本数据在新的子空间有最大类间距和最小类内距离，即在该子空间中具有最佳的可分离性

5.2 中心思想

投影后类内方差最小，类间方差最大

投影后希望每一种类别的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能大

5.3 证明：什么是LDA

给定任意的样本$x\in R^d$
$$y=T(x)=w^{T}x$$
其中$w\in R^d$为待定向量

二分类问题： 设$(X,Y)$是一个两类的分类问题，记属于第一第二类的样本集合分别为$X_1,X_2$，记${\mu }_i$为 $X_i(i=1,2)$类的均值，即
$${\mu }_i=\frac{1}{N_i}\sum _{x\in X_i}x$$
${\mu }_i$经过变换后为$\overline{z_i}$（降维下的均值点）
$$\overline{z_i}=T({\mu }_i)=w^T{\mu }_i=w^T\frac{1}{N_i}\sum _{x\in X_i}x=\frac{1}{N_i}{w}^{T}x$$

记 Z i = { T ( x ) ∣ x ∈ X i } Z_i = \{T(x)|x\in X_i\} Zi​={T(x)∣x∈Xi​}，根据LDA的基本思想，我们希望：

• $\overline{z_1}$和 $\overline{z_2}$离的越远越好
  • 类间离散度
    $\boxed{J_b=||\overline{z_1}-\overline{z_2}||}$
• $Z_i$中的元素越集中在$\overline{z_i}$附近越好
  • 类内离散度
    $\boxed{J_w=s_1^2+s_2^2}$，其中$s_i^2={\sum }_{z\in Z_i}(z-\overline{z_i}{)}^2$（方差）

5.3.1 线性判别目标函数

$$argmaxJ(w)=\frac{J_b}{J_w}=\frac{|\overline{z_1}-\overline{z_2}{|}^2}{s_1^2+s_2^2}$$

注意：
目标函数要实现最大类间距离和最小类内距离
目标函数J(w)中的比值在一定程度上可以看作是信噪比

5.3.1.1 目标函数简化

$$J_b=|\overline{z_1}-\overline{z_2}{|}^2=|w^T({\mu }_1-{\mu }_2{)}^2|\Rightarrow w^T({\mu }_1-{\mu }_2)({\mu }_1^T-{\mu }_2^T)w\triangleq \boxed{w^T{S}_{b}w}$$

$\triangleq$ 表示定义为

$$J_w=s_1^2+s_2^2=\sum _{i=1}^2\sum _{z\in Z_i}(z-w^T{\mu }_i{)}^2=\sum _{i=1}^2\sum _{x\in X_i}{w}^T(x-{\mu }_i)(x-{\mu }_i{)}^{T}w$$
$$=w^T(\sum _{i=1}^2\sum _{x\in X_i}(x-{\mu }_i)(x-{\mu }_i{)}^T)w\triangleq \boxed{w^T{S}_{w}w}$$

5.3.1.2 目标函数优化

上述问题的w并不是唯一的，倘若w对应J(w)的极大值点，则a*w仍然可以达到J(w)的极大值点

问题转化为：
$$argma{x}_w{J}_b(w)=w^T{S}_{b}w，使得w^T{S}_{w}w=1$$

构造拉格朗日函数为
$$\mathcal{L}(w,\lambda )=w^T{S}_{b}w-\lambda (w^T{S}_{w}w-1)$$

对拉格朗日函数求偏导并设其偏导数为零，得
$$\frac{\partial \mathcal{L}}{\partial w}=2S_{b}w-2\lambda S_{w}w=0$$

如果$S_w$可逆，那么
$$\boxed{S_w^{-1}{S}_{b}w=\lambda w}$$

5.3.2 结论

最优 $w$ 就是 $S_w^{-1}{S}_b$ 的特征向量，而这个公式也称为Fisher线性判别