机器学习降维之线性判别模型(LDA)

1.LDA简介

线性判别分析(Linear Discriminant Analysis, LDA) 是一种监督学习的降维方法，也就是说数据集的每个样本是有类别输出。和之前介绍的机器学习降维之主成分分析(PCA)方法不同，PCA是不考虑样本类别输出的无监督学习方法。LDA的原理简单来说就是将带上标签的数据（点），通过投影的方法，投影到维度更低的空间中，使得投影后的点会形成按类别区分。而我们的目标就是使得投影后的数据，类间方差最大，类内方差最小。

以下图为例，假设有两类数据，分别为红色和蓝色。现在我们希望，将这些数据投影到一维的直线上，让每一种类别数据的投影点尽可能的接近，而红色和蓝色数据中心之间的距离尽可能的大。

从上图的两种投影方式能够看出，右图能够更好的满足我们的目标，即类间方差最大，类内方差最小。下面我们来看看LDA内部原理，如何达到我们所希望的目标。

2.瑞利商和广义瑞利商

介绍LDA原理之前，我们先了解一些数学知识，即瑞利商(Rayleigh quotient)与广义瑞利商(genralized Rayleigh quotient)。首先来看看瑞利商的函数R(A,x)
$$R(A,x)=\frac{x^{H}Ax}{x^{H}x}$$
其中x为非零向量，而A为n*n的Hermitan矩阵。Hermitan矩阵是指满足共轭转置矩阵和自己相等的矩阵，即$A^H=A$。如果矩阵A是实矩阵的话，如果满足$A^T=A$，那么就是Hermitan矩阵。

瑞利商R(A,x)有一个非常重要的性质，即它的最大值等于矩阵A的最大特征值，而最小值等于矩阵A的最小特征值，即满足

$${\lambda }_{min}\le \frac{x^{H}Ax}{x^{H}x}\le {\lambda }_{max}$$

以上就是瑞利商的内容，现在看看广义瑞利商内容，广义瑞利商函数R(A,B,x)
$$R(A,B,x)=\frac{x^{H}Ax}{x^{H}Bx}$$
其中x为非零向量，而A,B为n*n的Hermitan矩阵，B是正定矩阵。那么R(A,B,x)的最大值和最小值是什么呢？

首先我们先将广义瑞利商转化为瑞利商的情况，令$x=B^{-1/2}{x}^{\prime }$。则其分母变为
$$\begin{gathered} x^{H}Bx=x^{{}^{\prime }H}(B^{-1/2}{)}^{H}B{B}^{-1/2}{x}^{\prime } \\ =x^{{}^{\prime }H}{B}^{-1/2}B{B}^{-1/2}{x}^{\prime } \\ =x^{{}^{\prime }H}{x}^{\prime } \end{gathered}$$
分子转化为
$$x^{H}Ax=x^{{}^{\prime }H}{B}^{-1/2}A{B}^{-1/2}{x}^{\prime }$$
此时R(A,B,x)转变为R(A,B,x′)
$$R(A,B,x^{\prime })=\frac{x^{{}^{\prime }H}{B}^{-1/2}A{B}^{-1/2}{x}^{\prime }}{x^{{}^{\prime }H}{x}^{\prime }}$$
利用前面的瑞利商性质，我们可以知道，R(A,B,x)的最大值为矩阵$B^{-1/2}A{B}^{-1/2}$的最大特征值，或者说矩阵$B^{-1}A$的最大特征值，最小值为$B^{-1}A$的最小特征值。

3.二类LDA原理

假如我们数据集为 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } D=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m) \} D={ (x1​,y1​),(x2​,y2​),...,(xm​,ym​)}，其中任意样本$x_i$为n维向量， y i ∈ { 0 , 1 } y_i \in \{0,1 \} yi​∈{ 0,1}。我们定义$N_j(j=0,1)$为第j类样本的个数，$X_j(j=0,1)$为第j类样本的结合，${\mu }_j(j=0,1)$为第j类样本的均值向量，${\sum }_j(j=0,1)$为第j类样本的协方差矩阵(严格来说是缺少分母部分的协方差矩阵)。其中
μ j = 1 N j ∑ x ∈ X j   x ( j = 0 , 1 ) \mu_j = \frac{1}{N_j}\sum_{x\in X_j}\ x(j=0,1)