百面机器学习04-降维

01：PCA最大方差理论

在机器学习领域中 ，我们对原始数据进行特征提取，有时会得到 比较高维的特征向量 。 在这些向量所处的高维空间中 ， 包含很多的冗余和噪声 。 我们希望通过降维的方式来寻找数据内部的特性 ， 从而提升特征表达能力 ， 降低训练复杂度 。 主成分分析（ Principal Components Analys is, P CA ）作为降维中最经典的方法，至今已有 100 多年的历史，属于一种线性、非监督、全局的降维算法，是面试中经常被问到的问题 。

知识点：PCA ，线性代数

问题：如何定义主成分？从这种定义出发，如何设计目标函数使得降维达到提取主成份的目的？针对这个目标函数，如何对 PCA 问题进行求解？

分析与解答：
PCA 旨在找到数据中的主成分，并利用这些主成分表征原始数据,从而达到降维的目的。举一个简单的例子，在三维空间中有一系列数据点，这些点分布在一个过原点的平面上。如果我们用自然坐标系 $x,y,z$三个轴来表示数据，就需要使用三个维度。而实际上，这些点只出现在一个二维平面上, 如果我们通过坐标系旋转变换使得数据所在平面与 $x,y$平面重合，那么我们就可以通过 $x^{\prime },y^{\prime }$ 两个维度表达原始数据，并且没有任何损失，这样就完成了数据的降维。而 $x^{\prime },y^{\prime }$ 两个轴所包含的信息就是我们要找到的主成分。

但在高维空间中，我们往往不能像刚才这样直观地想象出数据的分布形式 ，也就更难精确地找到主成分对应的轴是哪些。不妨，我们先从最简单的二维数据来看看 PCA 究竟是如何工作的，如国 4.1 所示。

图4.1（ a ) 是二维空间中经过中心化的一组数据，我们很容易看出主成分所在的轴（以下称为主轴 $）$ 的大致方向，即图 4.1 ( b ) 中黄线所处的轴。因为在黄线所处的轴上，数据分布得更为分散，这也意味着数据在这个方向上方差更大。在信号处理领域，我们认为信号具有较大方差，噪声具有较小方差，信号与噪声之比称为信噪比。信噪比越大意味着数据的质量越好，反之，信噪比越小意味着数据的质量越差。由此我们不难引出 PCA 的目标，即最大化投影方差，也就是让数据在主轴上投影的方差最大。

对于给定的一组数据点 { v 1 , v 2 , … , v n } , \left\{v_{1}, v_{2}, \ldots, v_{n}\right\}, {v1​,v2​,…,vn​}, 其中所有向量均为列向量, 中心化后的表示为 { x 1 , x 2 , … , x n } = { v 1 − μ , v 2 − μ , … , v n − μ } , \left\{x_{1}, x_{2}, \ldots, x_{n}\right\}=\left\{v_{1}-\mu, v_{2}-\mu, \ldots, v_{n}-\mu\right\}, {x1​,x2​,…,xn​}={v1​−μ,v2​−μ,…,vn​−μ}, 其中 $\mu =\frac{1}{n}{\sum }_{i=1}^n{v}_{i\circ }$ 我们知道，向量内积在几何上表示为第一个向量投影到第二个向量上的长度，因此向量 $x_i$ 在 $\omega ($ 单位方向向量 ) 上的投影坐标可以表示为$\left(x_i,\omega \right)=x_i^{\mathrm{T}}{\omega }_{\circ }$ 所以目标是找到一个投影方向 $\omega ,$ 使得$x_1,x_2,\dots ,x_n$ 在 $\omega$ 上的投影方差尽可能大。易知，投影之后均值为 $0$ ( 因为 ${\mathbf{\mu }}^{\prime }=\frac{1}{n}{\sum }_{i=1}^n{\mathbf{x}}_i^{\mathrm{T}}\omega =\left(\frac{1}{n}{\sum }_{i=1}^n{\mathbf{x}}_i^{\mathrm{T}}\right)\omega =0,$ 这也是我们进行中心化的意义 $)$ ，
因此投影后的方差可以表示为
$$\begin{array}{rl}D(x)=\frac{1}{n}\sum _{i=1}^n{\left(x_i^{\mathrm{T}}\omega \right)}^2& =\frac{1}{n}\sum _{i=1}^n{\left(x_i^{\mathrm{T}}\omega \right)}^{\mathrm{T}}\left(x_i^{\mathrm{T}}\omega \right)\\ & =\frac{1}{n}\sum _{i=1}^n{\omega }^{\mathrm{T}}{x}_i{x}_i^{\mathrm{T}}\omega \\ & ={\omega }^{\mathrm{T}}\left(\frac{1}{n}\sum _{i=1}^n{x}_i{x}_i^{\mathrm{T}}\right)\omega \end{array}$$

仔细一看, $\left(\frac{1}{n}{\sum }_{i=1}^n{\omega }^{\mathrm{T}}{x}_i{x}_i^{\mathrm{T}}\omega \right)$ 其实就是样本协方差矩阵，我们将其写作 $\Sigma$ 。另外，由于 $\omega$ 是单位方向向量，即有 ${\omega }^{\mathrm{T}}\omega =1$ 。因此我们要求解一个最大化问题，可表示为
$$\{\begin{array}{l}\max \left\{{\omega }^{\mathrm{T}}\Sigma \omega \right\}\\ \text{s.t. }{\omega }^{\mathrm{T}}\omega =1\end{array}$$
引入拉格朗日乘子, 并对 $\omega$ 求导令其等于 $0,$ 便可以推出 $\Sigma \omega =\lambda \omega ,$ 此时
$$D(x)={\omega }^{\mathrm{T}}\Sigma \omega =\lambda {\omega }^{\mathrm{T}}\omega =\lambda$$
熟悉线性代数可以马上就会发现，原来， $x$ 投影后的方差就是协方差矩阵的特征值。我们要找到最大的方差也就是协方差矩阵最大的特征值，最佳投影方向就是最大特征值所对应的特征向量。次佳投影方向位于最佳投影方向的正交空间中，是第二大特征值对应的特征向量，以此类推。至此，我们得到以下几种 PCA 的求解方法。

（1 ）对样本数据进行中心化处理。
（2 ) 求样本协方差矩阵。
（3) 对协方差矩阵进行特征值分解，将特征值从大到小排列。
（4 ) 取特征值前 $d$ 大对应的特征向量 ${\omega }_1,{\omega }_2,\dots ,{\omega }_d,$ 通过以下映射将 $n$ 维样本映射到 $d$ 维
$${\mathbf{x}}_i^{\prime }=\left[\begin{array}{c}{\omega }_1^{\mathrm{T}}{\mathbf{x}}_i\\ {\omega }_2^{\mathrm{T}}{\mathbf{x}}_i\\ ⋮\\ {\omega }_d^{\mathrm{T}}{\mathbf{x}}_i\end{array}\right]$$
新的 $x_i^{\prime }$ 的第 $d$ 维就是 $x_i$ 在第 $d$ 个主成分 ${\omega }_d$ 方向上的投影，通过选取最
大的 $d$ 个特征值对应的特征向量，我们将方差较小的特征（噪声 ) 抛弃，使
得每个 $n$ 维列向量 $x_i$ 被映射为 $d$ 维列向量 $x_i^{\prime },$ 定义降维后的信息占比为
$$\eta =\sqrt{\frac{{\sum }_{i=1}^d{\lambda }_i^2}{{\sum }_{i=1}^n{\lambda }_i^2}}$$

总结与拓展

至此，我们从最大化投影方差的角度解释了 PCA 的原理、目标函数和求解方法。其实,PCA还可以用其他思路进行分析，比如从最小回归误差的角度得到新的目标函数。但最终我们会发现其对应的原理和求解方法与本文中的是等价的。另外，由于 PCA 是一种线性降维方法，虽然经典，但具有一定的局限性。我们可以通过核映射对 PCA 进行扩展得到核主成分分析 (KPCA), 也可以通过流形映射的降维方法, 比如等距映射、局部线性嵌入、拉普拉斯特征映射等，对一些 PCA 效果不好的复杂数据集进行非线性降维操作。

PCA最小平方误差理论

上一节介绍了从最大方差的角度解释 PCA 的原理 、 目标函数和求解方法。本节将通过最小平方误差的思路对 PCA 进行推导 。

知识点:线性代数，最小平方误差

问题：PCA 求解的真实是最佳投影方向，即一条直线，这与数学中线性回归问题的目标不谋而合，能否从回归的角度定义 PCA 的目标并相应地求解问题呢？

分析与解答：我们还是考虑二维空间中的样本点，如图4.2 所示 。 上一节求解得到一条直线使得样本点投影到该直线上的方差最大。从求解直线的思路出发，很容易联想到数学中的线性回归问题，其目标也是求解一个线性函数使得对应直线能够更好地拟合样本点集合 。 如果我们从这个角度定义PCA 的目标，那么问题就会转化为一个回归问题 。

顺着这个思路，在高维空间中，我们实际上是要找到 一个 d 维超平面，使得数据点到这个超平面的距离平方和最小 。 以 d= 1 为例，超平面退化为直线 ， 即把样本点投影到最佳直线，最小化的就是所有点到直线的距离平方之和， 如图 4 .3 所示。

数据集中每个点 $x_k$ 到 $d$ 维超平面 $D$ 的距离为
$$\mathrm{distance}\left(x_k,D\right)={\Vert x_k-{\tilde{x}}_k\Vert }_2$$
其中 $\widetilde{x_k}$ 表示 $x_k$ 在超平面 $D$ 上的投影向量。如果该超平面由 $d$ 个标准正交基 W = { ω 1 , ω 2 , … , ω d } W=\left\{\omega_{1}, \omega_{2}, \ldots, \omega_{d}\right\} W={ω1​,ω2​,…,ωd​} 构成，根据线性代数理论 $x_k$ 可以由这组基
线性表示
$$\widetilde{{\mathbf{x}}_k}=\sum _{i=1}^d\left({\mathbf{\omega }}_i^{\mathrm{T}}{\mathbf{x}}_k\right){\mathbf{\omega }}_i$$
其中 ${\omega }_i^{\mathrm{T}}{x}_k$ 表示 $x_k$ 在 ${\omega }_i$ 方向上投影的长度。因此， ${\tilde{x}}_k$ 实际上就是 $x_k$ 在
$W$ 这组标准正交基下的坐标。而 PCA 要优化的目标为
$$\{\begin{array}{l}\underset{{\omega }_1,\dots ,{\omega }_d}{\mathrm{argmin}}{\sum }_{k=1}^n{\Vert {\mathbf{x}}_k-\widetilde{{\mathbf{x}}_k}\Vert }_2^2\\ \text{s.t. }{\omega }_i^{\mathrm{T}}{\mathbf{\omega }}_j={\delta }_{ij}=\{\begin{array}{l}1,i=j\\ \forall i,j\end{array}\end{array}$$
由向量内积的性质，我们知道 $x_k^{\mathrm{T}}\widetilde{x_k}={\widetilde{x_k}}^{\mathrm{T}}{x}_k,$ 于是将式 (4.8) 中的每一个距离展开
$\begin{array}{rl}{\Vert x_k-\widetilde{x_k}\Vert }_2^2& ={\left(x_k-\widetilde{x_k}\right)}^{\mathrm{T}}\left(x_k-{\tilde{x}}_k\right)\\ & =x_k^{\mathrm{T}}{x}_k-x_k^{\mathrm{T}}\widetilde{x_k}-{\widetilde{x_k}}^{\mathrm{T}}{x}_k+{\widetilde{x_k}}^{\mathrm{T}}\widetilde{x_k}\\ & =x_k^{\mathrm{T}}{x}_k-2x_k^{\mathrm{T}}\widetilde{x_k}+{\widetilde{x_k}}^{\mathrm{T}}\widetilde{x_k}\end{array}$

其中第一项 $x_k^{\mathrm{T}}{x}_k$ 与选取的 $W$ 无关, 是个常数。将式 (4.7) 代入式 (4.9)的第二项和第三项可得到：

$x_k^{\mathrm{T}}\widetilde{x_k}=x_k^{\mathrm{T}}{\sum }_{i=1}^d\left({\omega }_i^{\mathrm{T}}{x}_k\right){\omega }_i$
$={\sum }_{i=1}^d\left({\omega }_i^{\mathrm{T}}{x}_k\right)x_k^{\mathrm{T}}{\omega }_i$
$={\sum }_{i=1}^d{\omega }_i^{\mathrm{T}}{x}_k{x}_k^{\mathrm{T}}{\omega }_i$
${\widetilde{x_k}}^{\mathrm{T}}\widetilde{x_k}={\left({\sum }_{i=1}^d\left({\omega }_i^{\mathrm{T}}{x}_k\right){\omega }_i\right)}^{\mathrm{T}}\left({\sum }_{j=1}^d\left({\omega }_j^{\mathrm{T}}{x}_k\right){\omega }_j\right)$
$={\sum }_{i=1}^d{\sum }_{j=1}^d{\left(\left({\omega }_i^{\mathrm{T}}{x}_k\right){\omega }_i\right)}^{\mathrm{T}}\left(\left({\omega }_j^{\mathrm{T}}{x}_k\right){\omega }_j\right)$

注意到，其中 ${\omega }_i^{\mathrm{T}}{x}_k$ 和 ${\omega }_j^{\mathrm{T}}{x}_k$ 表示投影长度, 都是数字。且当 $i\ne j$ 时, ${\omega }_i^{\mathrm{T}}{\omega }_j=0,$ 因此式 (4.11) 的交叉项中只剩下 $d$ 项
$$\begin{array}{rl}{\tilde{x}}_k^{\mathrm{T}}\widetilde{x_k}& =\sum _{i=1}^d{\left(\left({\omega }_i^{\mathrm{T}}{\mathbf{x}}_k\right){\omega }_i\right)}^{\mathrm{T}}\left(\left({\omega }_i^{\mathrm{T}}{\mathbf{x}}_k\right){\omega }_i\right)=\sum _{i=1}^d\left({\omega }_i^{\mathrm{T}}{\mathbf{x}}_k\right)\left({\omega }_i^{\mathrm{T}}{\mathbf{x}}_k\right)\\ & =\sum _{i=1}^d\left({\omega }_i^{\mathrm{T}}{\mathbf{x}}_k\right)\left({\mathbf{x}}_k^{\mathrm{T}}{\mathbf{\omega }}_i\right)=\sum _{i=1}^d{\mathbf{\omega }}_i^{\mathrm{T}}{\mathbf{x}}_k{\mathbf{x}}_k^{\mathrm{T}}{\mathbf{\omega }}_i\end{array}$$
注意到 $,{\sum }_{i=1}^d{\omega }_i^{\mathrm{T}}{\mathbf{x}}_k{\mathbf{x}}_k^{\mathrm{T}}{\omega }_i$ 实际上就是矩阵 ${\mathbf{W}}^{\mathrm{T}}{\mathbf{x}}_k{\mathbf{x}}_k^{\mathrm{T}}\mathbf{W}$ 的迹（对角线
元素之和 )，于是可以将式（4.9）继续化简
$$\begin{array}{rl}\Vert x_k-\widetilde{x_k}& {\Vert }_2^2=-\sum _{i=1}^d{\omega }_i^{\mathrm{T}}{x}_k{x}_k^{\mathrm{T}}{\omega }_i+x_k^{\mathrm{T}}{x}_k\\ & =-tr\left(W^{\mathrm{T}}{x}_k{x}_k^{\mathrm{T}}W\right)+x_k^{\mathrm{T}}{x}_k\end{array}$$
因此式 (4.8) 可以写成
$$\begin{array}{rl}\arg \underset{W}{\min }\sum _{k=1}^n{\Vert {\mathbf{x}}_k-\widetilde{{\mathbf{x}}_k}\Vert }_2^2& =\sum _{k=1}^n\left(-\mathrm{tr}\left({\mathbf{W}}^{\mathrm{T}}{\mathbf{x}}_k{\mathbf{x}}_k^{\mathrm{T}}\mathbf{W}\right)+{\mathbf{x}}_k^{\mathrm{T}}{\mathbf{x}}_k\right)\\ & =-\sum _{k=1}^{n}tr\left({\mathbf{W}}^{\mathrm{T}}{\mathbf{x}}_k{\mathbf{x}}_k^{\mathrm{T}}\mathbf{W}\right)+C\end{array}$$

根据矩阵乘法的性质 ${\sum }_k{x}_k{x}_k^{\mathrm{T}}=X{X}^{\mathrm{T}},$ 因此优化问题可以转化为
$\arg {\max }_W{\sum }_{k=1}^n\mathrm{tr}\left(W^{\mathrm{T}}{x}_k{x}_k^{\mathrm{T}}W\right),$ 这等价于求解带约束的优化问题
$$\{\begin{array}{l}\arg {\max }_W\mathrm{tr}\left(W^{\mathrm{T}}X{X}^{\mathrm{T}}W\right)\\ \text{ s.t. }{W}^{\mathrm{T}}\mathbf{W}=I\end{array}$$
如果我们对 $W$ 中的 $d$ 个基 ${\omega }_1,{\omega }_2,\dots ,{\omega }_d$ 依次求解，就会发现和最大方差理论的方法完全等价。比如当 $d=1$ 时，我们实际求解的问题是
$$\{\begin{array}{l}\arg {\max }_{\mathcal{U}}{\omega }^{\mathrm{T}}X{X}^{\mathrm{T}}\omega \\ \text{s.t.}{\omega }^{\mathrm{T}}\omega =1\end{array}$$
最佳直线 $\omega$ 与最大方差法求解的最佳投影方向一致，即协方差矩阵的最大特征值所对应的特征向量，差别仅是协方差矩阵 $\Sigma$ 的一个倍数，以及常数 ${\sum }_{k=1}^n{x}_k^{\mathrm{T}}{x}_k$ 偏差，但这并不影响我们对最大值的优化。

总结与拓展

至此, 我们从最小平万误差的角度解释了 PCA 的原理、目标函数和求解方法。不难发这与最大方差角度殊途同归，从不同的目标函数出发，得到了相同的求解方法。

03：线性判别分析

线性判别分析（ Linear Discriminant Analysis, LDA ）是一种有监督学习算法，同时经常被用来对数据进行降维 。 它是Ronald Fisher 在 1936 年发明的，有些资料上也称之为Fisher LDA (Fisher ’ s Linear Discriminant Ana l ysis ） 。 LDA 是目前机器学习、数据拮据领域中经典旦热门的一种算法 。

相比于 PCA , LDA 可以作为一种有监督的降维算法 。 在 PCA 中， 算法没有考虑数据的标签（类别），只是把原数据映射到一些方差比较大的方向上而已。

假设用不同的颜色标注 $C_1,C_2$ 两个不同类别的数据，如图 4.4 所示。根据 $\mathrm{P}\mathrm{C}\mathrm{A}$ 算法,数据应该映射到方差最大的那个方向，亦即 $y$ 轴方向。但是， $C_1,C_2$ 两个不同类别的数据就会完全混合在一起，很难区分开。所以，使用 PCA 算法进行降维后再进行分类的效果会非常差。但是，如果使用 LDA 算法，数据会映射到 $x$ 轴方向。那么，LDA 算法究竟是如何做到这一点的呢?

知识点：线性代数， LDA

问题：对于具有类别标签的数据，应当如何设计目标函数使得降维的过程中不损失类别信息？在这种目标下，应当如何避行求解？

LDA 首先是为了分类服务的，因此只要找到一个投影方向 $\omega$,使得投影后的样本尽可能按照原始类别分开。我们不妨从一个简单的二分类问题出发，有 $C_1、C_2$ 两个类别的样本，两类的均值分别为${\mu }_1=\frac{1}{N_1}{\sum }_{x\in C_1}x,{\mu }_2=\frac{1}{N_2}{\sum }_{x\in C_2}{x}_{\circ }$ 我们希望投影之后两类之间的距离尽可能大，距离表示为
$$D\left(C_1,C_2\right)={\Vert {\tilde{\mu }}_1-{\tilde{\mu }}_2\Vert }_2^2$$
其中 ${\tilde{\mu }}_1,{\tilde{\mu }}_2$ 表示两类的中心在 $\omega$ 方向上的投影向量, ${\tilde{\mu }}_1={\omega }^{\mathrm{T}}{\mu }_1$,
$\widetilde{{\mu }_2}={\omega }^{\mathrm{T}}{\mu }_2,$ 因此需要优化的问题为
$$\{\begin{array}{l}{\max }_{\omega }{\Vert {\omega }^{\mathrm{T}}\left({\mu }_1-{\mu }_2\right)\Vert }_2^2\\ \text{ s.t. }{\omega }^{\mathrm{T}}\omega =1\end{array}$$

容易发现，当 $\omega$ 方向与 $\left({\mu }_1-{\mu }_2\right)$ 一致的时候，该距离达到最大值,例如对图 4.5 ( a ) 的黄棕两种类别的样本点进行降维时，若按照最大化两类投影中心距离的准则，会将样本点投影到下方的黑线上。但是原本可以被线性划分的两类样本，经过投影后有了一定程度的重叠，这显然不能使我们满意。

我们希望得到的投影结果如图 $4.5(\mathrm{b})$ 所示，虽然两类的中心在投影之后的距离有所减小，但确使投影之后样本的可区分性提高了。仔细观察两种投影方式的区别，可以发现，在图 4.5 ( b ) 中，投影后的样本点似乎在每一类中分布得更为集中了，用数学化的语言描述就是每类内部的方差比左图中更小。这就引出了 LDA 的中心思想最大化类间距离和最小化类内距离。

在前文中我们已经找到了使得类间距离尽可能大的投影方式，现在只需要同时优化类内方差，使其尽可能小。我们将整个数据集的类内方差定义为各个类分别的方差之和，将目标函数定义为类间距离和类内距离的比值，于是引出我们需要最大化的目标
$$\underset{\omega }{\max }J(\omega )=\frac{{\Vert {\omega }^{\mathrm{T}}\left({\mu }_1-{\mu }_2\right)\Vert }_2^2}{D_1+D_2}$$
其中 $\omega$ 为单位向量, $D_1,D_2$ 分别表示两类投影后的方差
$$\begin{array}{c}{D}_1={\sum }_{x\in C_1}{\left({\omega }^{\mathrm{T}}x-{\omega }^{\mathrm{T}}{\mu }_1\right)}^2={\sum }_{x\in C_1}{\omega }^{\mathrm{T}}\left(x-{\mu }_1\right){\left(x-{\mu }_1\right)}^{\mathrm{T}}\omega \\ D_2={\sum }_{x\in C_2}{\omega }^{\mathrm{T}}\left(x-{\mu }_2\right){\left(x-{\mu }_2\right)}^{\mathrm{T}}\omega \end{array}$$
因此 $J(\omega )$ 可以写成
$$J(\omega )=\frac{{\omega }^{\mathrm{T}}\left({\mu }_1-{\mu }_2\right){\left({\mu }_1-{\mu }_2\right)}^{\mathrm{T}}\omega }{{\sum }_{x\in C_i}{\omega }^{\mathrm{T}}\left(x-{\mu }_i\right){\left(x-{\mu }_i\right)}^{\mathrm{T}}\omega }$$

定义类 间 散 度 矩 阵 $S_B=\left({\mu }_1-{\mu }_2\right){\left({\mu }_1-{\mu }_2\right)}^{\mathrm{T}},$ 类 内 散 度 矩 阵
$S_w={\sum }_{x\in C_i}\left(x-{\mu }_i\right){\left(x-{\mu }_i\right)}^{\mathrm{T}}\circ$ 则式 (4.22) 可以写为
$$J(\omega )=\frac{{\omega }^{\mathrm{T}}{\mathbf{S}}_B\omega }{{\omega }^{\mathrm{T}}{\mathbf{S}}_w\omega }$$
我们要最大化 $J(\omega )$ ，只需对 $\omega$ 求偏导，并令导数等于零
$$\frac{\partial J(\omega )}{\partial \omega }=\frac{\left(\frac{\partial {\omega }^{\mathrm{T}}{S}_B\omega }{\partial \omega }{\omega }^{\mathrm{T}}{S}_w\omega -\frac{\partial {\omega }^{\mathrm{T}}{S}_w\omega }{\partial \omega }{\omega }^{\mathrm{T}}{S}_B\omega \right)}{{\left({\omega }^{\mathrm{T}}{S}_w\omega \right)}^2\cdot }=0(4.24)$$

于是得出，
$$\left({\omega }^{\mathrm{T}}{S}_w\omega \right)S_B\omega =\left({\omega }^{\mathrm{T}}{S}_B\omega \right)S_w\omega$$
由于在简化的二分类问题中 ${\omega }^{\mathrm{T}}{S}_w\omega$ 和 ${\omega }^{\mathrm{T}}{S}_B\omega$ 是两个数，我们令
$\lambda =J(\omega )=\frac{{\omega }^{\mathrm{T}}{S}_B\omega }{{\omega }^{\mathrm{T}}{S}_w\omega },$ 于是可以把式 (4.25) 写成如下形式
$$S_B\omega =\lambda S_w\omega$$
整理得，
$$S_w^{-1}{S}_B\omega =\lambda \omega$$
从这里我们可以看出, 我们最大化的目标对应了一个矩阵的特征值,于是 LDA 降维变成了一个求矩阵特征向量的问题。 $J(\omega )$ 就对应了矩阵$S_w^{-1}{S}_B$ 最大的特征值，而投影方向就是这个特征值对应的特征向量。对于二分类这一问题，由于 $S_B=\left({\mu }_1-{\mu }_2\right){\left({\mu }_1-{\mu }_2\right)}^{\mathrm{T}},$ 因此 $S_B\omega$ 的方向始终与 $\left({\mu }_1-{\mu }_2\right)$ 一致，如果只考虑 $\omega$ 的方向，不考虑其长度，可以得到 $\omega =S_w^{-1}{\left({\mu }_1-{\mu }_2\right)}_{\circ }$ 换句话说，我们只需要求样本的均值和类内方差，就可以马上得出最佳的投影方向 ${\omega }_{\circ }$ 这便是 Fisher 在 1936 年提出的线性判别分析。

总结与拓展

至此，我们从最大化类间距离、最小化类内距离的思想出发，推导出了 LDA 的优化目标以及求解方法。Fisher LDA 相比 PCA 更善于对有类别信息的数据进行降维处理，但它对数据的分布做了一些很强的假设，例如，每个类数据都是高斯分布、各个类的协方差相等。尽管这些假设在实际中并不一定完全满足，但 LDA 已被证明是非常有效的一种降维方法。主要是因为线性模型对于噪声的鲁棒性比较好，但由于模型简单，表达能力有一定局限性，我们可以通过引入核函数扩展 LDA 方法以处理分布较为复杂的数据。

04：线性判别分析与主成分分析

场景描述：同样作为线性降维方法， PCA 是有监督的降维维算法，而 LDA 是无监督的降维算法 。虽然在原理或应用方面二者有一定的区别，但是从这两种方法的数学本质出发，我们不难发现二者有很多共通的特性 。

知识点：线性代数、PCA、LDA

问题：LDA 和 PCA 作为经典的降维算法，如何从应用的角度分析其原理的异同？从数学推导的角度，两种降维算法在目标函数上有何区别与联系？

首先将 LDA 扩展到多类高维的情况，以和问题 1 中 $\mathrm{P}\mathrm{C}\mathrm{A}$ 的求解对应。假设有 $N$ 个类别，并需要最终将特征降维至 $d$ 维。因此，我们要找到一个 $d$ 维投影超平面 W = { ω 1 , ω 2 , … , ω d } , W=\left\{\omega_{1}, \omega_{2}, \ldots, \omega_{d}\right\}, W={ω1​,ω2​,…,ωd​}, 使得投影后的样本点满足 LDA 的目标一一最大化类间距离和最小化类内距离。
回顾两个散度矩阵，类内散 度 矩 阵 $S_w={\sum }_{x\in C_i}\left(x-{\mu }_i\right){\left(x-{\mu }_i\right)}^{\mathrm{T}}$
在类别增加至 $N$ 时仍满足定义，而之前两类问题的类间散度矩阵$S_b=\left({\mu }_1-{\mu }_2\right){\left({\mu }_1-{\mu }_2\right)}^{\mathrm{T}}$ 在类别增加后就无法按照原始定义。图 4.6 是三类样本的分布情况, 其中 ${\mu }_1,{\mu }_2,{\mu }_3$ 分别表示棕绿黄三类样本的中心，$\mu$ 表示这三个中心的均值 ( 也即全部样本的中心 $),S_{wi}$ 表示第 $i$ 类的类内散度。我们可以定义一个新的矩阵 $S_t,$ 来表示全局整体的散度，称为全局散度矩阵
$$S_t=\sum _{i=1}^n\left(x_i-\mu \right){\left(x_i-\mu \right)}^{\mathrm{T}}$$

如果把全局散度定义为类内散度与类间散度之和，即 $S_i=S_b+S_w,$ 那
么类间散度矩阵可表示为
$$\begin{array}{rl}{S}_b& =S_t-S_w\\ & =\sum _{i=1}^n\left(x_i-\mu \right){\left(x_i-\mu \right)}^{\mathrm{T}}-\sum _{x\in C_i}\left(x-{\mu }_i\right){\left(x-{\mu }_i\right)}^{\mathrm{T}}\\ & =\sum _{j=1}^N\left(\sum _{x\in C_j}(x-\mu )(x-\mu {)}^{\mathrm{T}}-\sum _{x\in C_j}\left(x-{\mu }_j\right){\left(x-{\mu }_j\right)}^{\mathrm{T}}\right)\\ & =\sum _{j=1}^N{m}_j\left({\mu }_j-\mu \right){\left({\mu }_j-\mu \right)}^{\mathrm{T}}\end{array}$$
其中 $m_j$ 是第 $j$ 个类别中的样本个数， $N$ 是总的类别个数。从式 (4.29)可以看出，类间散度表示的就是每个类别中心到全局中心的一种加权距离。我们最大化类间散度实际上优化的是每个类别的中心经过投影后离全局中心的投影足够远。

根据 LDA 的原理，可以将最大化的目标定义为
$$J(W)=\frac{tr\left(W^{\mathrm{T}}{S}_{b}W\right)}{tr\left(W^{\mathrm{T}}{S}_{w}W\right)}$$
其中 $W$ 是需要求解的投影超平面 $,W^{\mathrm{T}}W=I,$ 根据问题 2 和问题 3 中的部分结论，我们可以推导出最大化 $J(W)$ 对应了以下广义特征值求解的问题
$$S_b\omega =\lambda S_w\omega$$
求解最佳投影平面 W = { ω 1 , ω 2 , … , ω d } W=\left\{\omega_{1}, \omega_{2}, \ldots, \omega_{d}\right\} W={ω1​,ω2​,…,ωd​} 即求解 $S_w^{-1}{S}_b$ 矩阵特征值前$d$ 大对应的特征向量组成的矩阵，这就将原始的特征空间投影到了新的$d$ 维空间中。至此我们得到了与 PCA 步骤类似，但具有多个类别标签

高维数据的 LDA 求解方法。
（ 1 )计算数据集中每个类别样本的均值向量 ${\mu }_j,$ 及总体均值向量 $\mu$ 。
（2 ）计算类内散度矩阵 $S_w,$ 全局散度矩阵 $S_t,$ 并得到类间散度矩
阵 $S_b=S_t-S_{w\circ }$
（3) 对矩阵 $S_w^{-1}{S}_b$ 进行特征值分解，将特征值从大到小排列。
（4 ) 取特征值前 $d$ 大的对应的特征向量 ${\omega }_1,{\omega }_2,\dots ,{\omega }_d,$ 通过以下映
射将 $n$ 维样本映射到 $d$ 维
$${\mathbf{x}}_i^{\prime }=\left[\begin{array}{c}{\omega }_1^{\mathrm{T}}{\mathbf{x}}_i\\ {\omega }_2^{\mathrm{T}}{\mathbf{x}}_i\\ ⋮\\ {\omega }_d^{\mathrm{T}}{\mathbf{x}}_i\end{array}\right]$$

从 $\mathrm{P}\mathrm{C}\mathrm{A}$ 和 $\mathrm{L}\mathrm{D}\mathrm{A}$ 两种降维方法的求解过程来看，它们确实有着很
大的相似性，但对应的原理却有所区别。首先从目标出发，PCA 选择的是投影后数据方差最大的方向。由于它是无监督的，因此 PCA 假设方差越大，信息量越多，用主成分来表示原始数据可以去除咒余的维度, 达到降维。而 LDA 选择的是投影后类内方差小、类间方差大的方向。其用到了类别标签信息，为了找到数据中具有判别性的维度，使得原始数据在这些方向上投影后，不同类别尽可能区分开。举一个简单的例子，在语音识别中，我们想从一段音频中提取出人的语音信号，这时可以使用 PCA 先进行降维，过滤掉一些固定频率（方差较小 $)$ 的背景噪声。但如果我们的需求是从这段音频中区分出声音属于哪个人，那么我们应该使用 LDA 对数据进行降维，使每个人的语音信号具有区分性。另外，在人脸识别领域中，PCA 和 LDA 都会被频繁使用。基于PCA 的人脸识别方法也称为特征脸（Eigenface ) 方法，该方法将人脸图像按行展开形成一个高维向量，对多个人脸特征的协方差矩阵做特征值分解，其中较大特征值对应的特征向量具有与人脸相似的形状，故称为特征脸。Eigenface for Recognition 一文中将人脸用 7 个特征脸表示（见图 4.7 )，于是可以把原始 65536 维的图像特征瞬间降到 7 维，人脸识别在降维后的空间上进行。然而由于其利用 PCA 进行降维，一般情况下保留的是最佳描述特征（主成分 ），而非分类特征。如果我们想要达到更好的人脸识别效果，应该用 LDA 方法对数据集进行降维，使得不同人脸在投影后的特征具有一定区分性。

从应用的角度，我们可以掌握一个基本的原则——对无监督的任务使用 PCA 进行降维 ，对有监督的则应用 LDA。

总结与展望

至此，我们从数学原理、优化目标以及应用场景的角度对比了 PCA 和 LDA 这两种经典的结性降维方法，对于非线性数据，可以通过核映射等方法对二者分别进行扩展以得到更好的降维效果 。 关于特征脸这一降维应用，有兴趣的读者可以拜读最经典的 Eigenface论文［4］，更好地理解降维算法的实际应用。