1.LDA简介
线性判别分析(Linear Discriminant Analysis, LDA)是一种监督学习的降维方法,也就是说数据集的每个样本是有类别输出。和之前介绍的机器学习降维之主成分分析(PCA)方法不同,PCA是不考虑样本类别输出的无监督学习方法。LDA的原理简单来说就是将带上标签的数据(点),通过投影的方法,投影到维度更低的空间中,使得投影后的点会形成按类别区分。而我们的目标就是使得投影后的数据,类间方差最大,类内方差最小。
以下图为例,假设有两类数据,分别为红色和蓝色。现在我们希望,将这些数据投影到一维的直线上,让每一种类别数据的投影点尽可能的接近,而红色和蓝色数据中心之间的距离尽可能的大。
从上图的两种投影方式能够看出,右图能够更好的满足我们的目标,即类间方差最大,类内方差最小。下面我们来看看LDA内部原理,如何达到我们所希望的目标。
2.瑞利商和广义瑞利商
介绍LDA原理之前,我们先了解一些数学知识,即瑞利商(Rayleigh quotient)与广义瑞利商(genralized Rayleigh quotient)。首先来看看瑞利商的函数R(A,x)
$$
R(A,x) = \frac{x^HAx}{x^Hx}
$$
其中x为非零向量,而A为n*n的Hermitan矩阵。Hermitan矩阵是指满足共轭转置矩阵和自己相等的矩阵,即$A^H=A$。如果矩阵A是实矩阵的话,如果满足$A^T=A$,那么就是Hermitan矩阵。
瑞利商R(A,x)有一个非常重要的性质,即它的最大值等于矩阵A的最大特征值,而最小值等于矩阵A的最小特征值,即满足
$$
\lambda_{min}\le \frac{x^HAx}{x^Hx}\le \lambda_{max}
$$
以上就是瑞利商的内容,现在看看广义瑞利商内容,广义瑞利商函数R(A,B,x)
$$
R(A,B,x)= \frac{x^HAx}{x^HBx}
$$
其中x为非零向量,而A,B为n*n的Hermitan矩阵,B是正定矩阵。那么R(A,B,x)的最大值和最小值是什么呢?
首先我们先将广义瑞利商转化为瑞利商的情况,令$x=B^{-1/2}x'$。则其分母变为