【机器学习降维】Fisher判别分析LDA

线性判别分析（Linear Discriminant Analysis，LDA）是一种有监督学习算法，同时经常被用来对数据进行降维。

线性判别分析

  Fisher的基本思想是：类内小，类间大。也就是说，我们要让属于同一类的样本映射到某一条直线上后的距离越小越好，而不同类样本之间的距离要越大越好。所以我们需要训练这样一条直线，把p维的样本数据都投影到一个1维的方向，使得不同的样本在降维后的一维空间内具有“类内小，类间大”的结果，从而很好地将两类数据分开。
  在预测时，将待预测数据投影到上面学习到的直线上，根据投影点的位置来判断所属于的类别。

  假设我们找到了最好的投影方向$w$，如果不对其做限定的话，这样的w可以有无数条，所以我们限定$||w||=1$。将样本点$x_i$投影到向量w上，得到新的点$z_i$，有
$$z_i=|x_i|cos\theta =|x_i||w|cos\theta =w^T{x}_i..........(1)$$
  则其总体均值为
$$\bar{z}=\frac{1}{N}\sum _{i=1}^N{w}^T{x}_i..........(2)$$
  总体方差为
$$S_z=\frac{1}{N}\sum _{i=1}^N(w^T{x}_i-\bar{z})(w^T{x}_i-\bar{z}{)}^T..........(3)$$
  假设两类样本分别用$c_1$和$c_2$表示，则
$$\begin{gathered} {\bar{z}}_1=\frac{1}{N_1}\sum _{i=1}^{N_1}{w}^T{x}_i..........(4) \\ {\bar{z}}_2=\frac{1}{N_2}\sum _{i=1}^{N_2}{w}^T{x}_i..........(5) \\ {S}_1=\frac{1}{N_1}\sum _{i=1}^{N_1}(w^T{x}_i-{\bar{z}}_1)(w^T{x}_i-{\bar{z}}_1{)}^T..........(6) \\ {S}_2=\frac{1}{N_2}\sum _{i=1}^{N_2}(w^T{x}_i-{\bar{z}}_2)(w^T{x}_i-{\bar{z}}_2{)}^T..........(7) \end{gathered}$$
  我们可以使两类样本的均值差最大来表示“类间大”，两类样本的方差和最小来表示“类内小”。因此我们可以将其构造成一个目标函数：
$$J(w)=\frac{({\bar{z}}_1-{\bar{z}}_2{)}^2}{(S_1+S_2)}..........(8)$$
  则有
$$\begin{array}{rl}\hat{w}& =\arg \underset{w}{\max }J(w)\\ & =\arg \underset{w}{\max }\frac{({\bar{z}}_1-{\bar{z}}_2{)}^2}{(S_1+S_2)}\\ & =\arg \underset{w}{\max }\frac{(\frac{1}{N_1}\sum _{i=1}^{N_1}{w}^T{x}_i-\frac{1}{N_2}\sum _{i=1}^{N_2}{w}^T{x}_i{)}^2}{(\frac{1}{N_1}\sum _{i=1}^{N_1}(w^T{x}_i-{\bar{z}}_1)(w^T{x}_i-{\bar{z}}_1{)}^T+\frac{1}{N_2}\sum _{i=1}^{N_2}(w^T{x}_i-{\bar{z}}_2)(w^T{x}_i-{\bar{z}}_2{)}^T)}\\ & =\arg \underset{w}{\max }\frac{(w^T(\frac{1}{N_1}\sum _{i=1}^{N_1}{x}_i-\frac{1}{N_2}\sum _{i=1}^{N_2}{x}_i){)}^2}{\frac{1}{N_1}\sum _{i=1}^{N_1}{w}^T(x_i-{\bar{x}}_{c1})(x_i-{\bar{x}}_{c1}{)}^{T}w+\frac{1}{N_2}\sum _{i=1}^{N_2}{w}^T(x_i-{\bar{x}}_{c2})(x_i-{\bar{x}}_{c2})w}\\ & =\arg \underset{w}{\max }\frac{(w^T({\bar{x}}_{c1}-{\bar{x}}_{c2}){)}^2}{w^T{S}_{c1}w+w^T{S}_{c2}w}\\ & =\arg \underset{w}{\max }\frac{w^T({\bar{x}}_{c1}-{\bar{x}}_{c2})({\bar{x}}_{c1}-{\bar{x}}_{c2}{)}^{T}w}{w^T(S_{c1}+S_{c2})w}\end{array}$$
  令
$$\begin{gathered} S_b=({\bar{x}}_{c1}-{\bar{x}}_{c2})({\bar{x}}_{c1}-{\bar{x}}_{c2}{)}^T..........(9) \\ {S}_w=(S_{c1}+S_{c2})..........(10) \end{gathered}$$
  $S_b$称为类间散度矩阵，$S_w$称为类内散度矩阵，则
$$J(w)=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}.........(11)$$
  上式为广义瑞利熵的形式，利用广义瑞利商性质J(w)最大值为矩阵$S_b^{-1/2}{S}_w{S}_b^{-1/2}$的最大特征值，而对应的w为的最大特征值对应的特征向量。
  也可以不考虑广义瑞利熵，式子11对$w$求偏导，并令导数为0 ，有
$$(w^T{S}_{w}w)S_{b}w=(w^T{S}_{b}w)S_{w}w..........(12)$$
  因为在简化的二分类问题中，$w^T{S}_{b}w$和$w^T{S}_{w}w$都是实数，所以有
$$S_{b}w=J(w)S_{w}w$$
  整理得
$$S_w^{-1}{S}_{b}w=J(w)w..........(13)$$
  从式子13可以看出，我们要最大化的目标$j(w)$对应了矩阵$S_w^{-1}{S}_b$的最大特征值，而投影方向就是这个特征值对应的特征向量。

  二分类的LDA到这里就结束了。而如果扩展到N分类呢？扩展到N分类后，我们希望将特征降到d维，让投影后的样本点仍然满足最大化类间距离和最小化类内距离。类内散度矩阵$S_w$扩展到n维后仍然满足定义，而类间散度矩阵$S_b$则不满足，我们需要做一些小小的变化。定义全局散度矩阵
$$S_t=\sum _{i=1}^n(x_i-\mu )(x_i-\mu {)}^T$$
  其中$\mu$是N类样本中心的均值。重新定义$S_t=S_b+S_w$，则
$$\begin{array}{rl}{S}_b& =S_t-S_w\\ & =\sum _{i=1}^n(x_i-\mu )(x_i-\mu {)}^T-\sum _{x\in C_i}(x_i-{\mu }_i)(x_i-{\mu }_i{)}^T\\ & =\sum _{j=1}^N\left(\sum _{x\in C_i}(x_i-\mu )(x_i-\mu {)}^T-\sum _{x\in C_i}(x_i-{\mu }_i)(x_i-{\mu }_i{)}^T\right)\\ & =\sum _{j=1}^N{m}_j({\mu }_j-\mu )({\mu }_j-\mu {)}^T\end{array}$$
  其中$m_j$是第j个类别中的样本个数，N是总类别数。根据LDA，最大化目标为
$$J(W)=\frac{tr(W^T{S}_{b}W)}{tr(W^T{S}_{w}W)},s.t.W^{T}W=I$$
  最大化J(W)对应了以下广义特征值的求解，即
$$S_{b}w=\lambda S_{w}w$$
  通过求解$S_w^{-1}{S}_b$矩阵的前k个最大特征向量组成的矩阵，得到W，从而能够将原始的特征空间投影到新的d维空间中。

LDA与PCA

• PCA选取的是投影后数据方差最大的方向，由于PCA是无监督学习，他假设方差越大，信息越多，使用主成分来达到降维。
• LDA选择的是投影后类内方差小，类间方差大的方向，属于有监督学习。
• 从应用的角度，对无监督的学习应该使用PCA进行降维，对有监督的则应用LDA。