（《机器学习》完整版系列）第10章降维与度量学习——10.5 主成分分析的目标求解（“丢掉不重要属性”是错误的）

本文链接：https://blog.csdn.net/qiy_icbc/article/details/129583235

前两篇我们讨论了主成分分析的优化目标，有了优化目标，剩下的就是数学求解了。
“主成分”从字面上易理解为“保留主要属性，丢掉不重要的属性”，显然，这种理解是错误的。它是“丢掉”（截断），但不是针对 $\boldsymbol{x}$ 而是针对 $\boldsymbol{z}$ ，前者的分量是样本的属性，后者的分量已是各属性的混合体

目标求解

在10.3 主成分分析的优化目标（坐标变换的魔力）
10.4 主成分分析的优化目标另一推导（投影点尽可能分开）中，我们已导出了主成分分析的优化目标式(10.33)，再写一遍，即
$\begin{align} \mathop{\min}\limits_{\hat{\mathbf{W}}} & \ -\mathrm{tr}(\hat{\mathbf{W}}^{\mathrm{T}}\mathbf{X}\mathbf{X}^{\mathrm{T}}\hat{\mathbf{W}}) \tag{10.52} \\ \mathrm{s.t.} & \quad \hat{\mathbf{W}}^{\mathrm{T}}\hat{\mathbf{W}}=\mathbf{I}_{d'}\notag \end{align}$

我们知道， $\hat{\mathbf{W}}$ 为 $\mathbf{W}$ 的截断，故式(10.52)中的函数可视为式(10.55)中的函数被超平面所截，故可转化为求解式(10.55)。
$\begin{align} \mathop{\min}\limits_{\mathbf{W}} & \ -\mathrm{tr}(\mathbf{W}^{\mathrm{T}}\mathbf{X}\mathbf{X}^{\mathrm{T}}\mathbf{W}) \tag{10.53} \\ \mathrm{s.t.} & \quad \mathbf{W}^{\mathrm{T}}\mathbf{W}=\mathbf{I}\notag \end{align}$

这里我们用大家熟悉的拉格朗日乘子法。
$\begin{align} L(\mathbf{W},\boldsymbol{\lambda }) & =-\mathrm{tr}(\mathbf{W}^{\mathrm{T}}\mathbf{X}\mathbf{X}^{\mathrm{T}}\mathbf{W})+\boldsymbol{\lambda }^{\mathrm{T}}(\mathbf{W}^{\mathrm{T}}\mathbf{W}-\mathbf{I})\notag \\ & =-\mathrm{tr}([\boldsymbol{w}_i^{\mathrm{T}}\mathbf{X}\mathbf{X}^{\mathrm{T}}\boldsymbol{w}_j]_{ij})+([{\lambda }_i]_i)^{\mathrm{T}}([\boldsymbol{w}_i^{\mathrm{T}}\boldsymbol{w}_i-1]_i)\notag \\ & =-\sum_{i=1}^d\boldsymbol{w}_i^{\mathrm{T}}\mathbf{X}\mathbf{X}^{\mathrm{T}}\boldsymbol{w}_i+\sum_{i=1}^d{\lambda }_i(\boldsymbol{w}_i^{\mathrm{T}}\boldsymbol{w}_i-1)\notag \\ & =\sum_{i=1}^d({\lambda }_i\boldsymbol{w}_i^{\mathrm{T}}\boldsymbol{w}_i-\boldsymbol{w}_i^{\mathrm{T}}\mathbf{X}\mathbf{X}^{\mathrm{T}}\boldsymbol{w}_i-1) \tag{10.54} \end{align}$

先对涉及的导数做些准备。

【西瓜书附录式(A.32)】中，令 $\boldsymbol{b}=0,\mathbf{A}=\mathbf{I},\boldsymbol{w}=\mathbf{M},\boldsymbol{x}=\boldsymbol{\alpha }$ ，则有
$\begin{align} \frac{\partial \boldsymbol{\alpha }^{\mathrm{T}}\mathbf{M }\boldsymbol{\alpha }}{\partial \boldsymbol{\alpha }} & =2\mathbf{M }\boldsymbol{\alpha } \tag{10.55} \\ \frac{\partial \boldsymbol{\alpha }^{\mathrm{T}}\boldsymbol{\alpha }}{\partial \boldsymbol{\alpha }} & =2\boldsymbol{\alpha } \tag{10.56} \end{align}$

对式(10.54)求导，并应用式(10.56)、式(10.55)，则有
$\begin{align} \frac{\partial L(\mathbf{W},\boldsymbol{\lambda })}{\partial \boldsymbol{w}_k} & =\frac{\partial }{\partial \boldsymbol{w}_k}\sum_{i=1}^d({\lambda }_i\boldsymbol{w}_i^{\mathrm{T}}\boldsymbol{w}_i-\boldsymbol{w}_i^{\mathrm{T}}\mathbf{X}\mathbf{X}^{\mathrm{T}}\boldsymbol{w}_i-1)\notag \\ & =\frac{\partial }{\partial \boldsymbol{w}_k}({\lambda }_k\boldsymbol{w}_k^{\mathrm{T}}\boldsymbol{w}_k-\boldsymbol{w}_k^{\mathrm{T}}\mathbf{X}\mathbf{X}^{\mathrm{T}}\boldsymbol{w}_k-1)+\frac{\partial }{\partial \boldsymbol{w}_k}\sum_{i\neq k}(\cdots )\notag \\ & =2{\lambda }_k\boldsymbol{w}_k-2\mathbf{X}\mathbf{X}^{\mathrm{T}}\boldsymbol{w}_k \tag{10.57} \end{align}$
令 $\frac{\partial L(\mathbf{W},\boldsymbol{\lambda })}{\partial \boldsymbol{w}_k}=0$ ，得
$\begin{align} \mathbf{X}\mathbf{X}^{\mathrm{T}}\boldsymbol{w}_k={\lambda }_k\boldsymbol{w}_k,\quad k=1,2,\cdots,d \tag{10.58} \end{align}$

将式(10.58)的 $d$ 个方程并成一个方程，即
$\begin{align} \mathbf{X}\mathbf{X}^{\mathrm{T}}(\boldsymbol{w}_1,\boldsymbol{w}_2,\cdots,\boldsymbol{w}_d) & =({\lambda }_1\boldsymbol{w}_1,{\lambda }_2\boldsymbol{w}_2,\cdots,{\lambda }_d\boldsymbol{w}_d)\notag \\ \mathbf{X}\mathbf{X}^{\mathrm{T}}\mathbf{W} & =\mathbf{W}\boldsymbol{\Lambda } \tag{10.59} \end{align}$
其中， $\boldsymbol{\Lambda }=\mathrm{diag}[{\lambda }_1,{\lambda }_2,\cdots,{\lambda }_d],{\lambda }_1\geqslant {\lambda }_2\geqslant \cdots\geqslant {\lambda }_d\geqslant 0$ 。

再应用条件 $\mathbf{W}^{\mathrm{T}}\mathbf{W}=\mathbf{I}$ ，则有
$\begin{align} \mathbf{X}\mathbf{X}^{\mathrm{T}}=\mathbf{W}\boldsymbol{\Lambda }\mathbf{W}^{\mathrm{T}} \tag{10.60} \end{align}$

式(10.60)对照10.2 低维嵌入式(10.13)，即式(10.58)中 ${\lambda }_k$ 为矩阵 $\mathbf{X}\mathbf{X}^{\mathrm{T}}$ 的特征值组成，而 $\boldsymbol{w}_k$ 为对应的特征向量（ $k=1,2,\cdots,d$ ），故问题转化为对矩阵 $\mathbf{X}\mathbf{X}^{\mathrm{T}}$ 进行特征分解，在协方差矩阵的特征值中给出了方法。

由此，优化问题式(10.55)就可以得到解决（参考式(10.17)）：

对矩阵 $\mathbf{X}\mathbf{X}^{\mathrm{T}}$ 进行特征分解，得到从大到小排列的特征值： ${\lambda }_1\geqslant {\lambda }_2\geqslant \cdots\geqslant {\lambda }_d\geqslant 0$ ，再求出对应的特征向量组： $({\boldsymbol{w} }_1,{\boldsymbol{w}}_2,\cdots,{\boldsymbol{w}}_d)$ ，由此组成变换矩阵 $\mathbf{W}$ 。

现在回到优化问题式(10.52)：
$\begin{align} \mathop{\max}\limits_{\hat{\mathbf{W}}}\ \mathrm{tr}(\hat{\mathbf{W}}^{\mathrm{T}}\mathbf{X}\mathbf{X}^{\mathrm{T}}\hat{\mathbf{W}}) & =\mathop{\max}\limits_{\text{取$d'$个$\boldsymbol{w}_i$}}\ \mathrm{tr}({\mathbf{W}}^{\mathrm{T}}\mathbf{X}\mathbf{X}^{\mathrm{T}}{\mathbf{W}})\notag \\ & =\mathop{\max}\limits_{\text{取$d'$个${\lambda }_i$}}\ \mathrm{tr}(\boldsymbol{\Lambda })\quad \text{（由式(10.60)）}\notag \\ & =\mathop{\max}\limits_{\text{取$d'$个${\lambda }_i$}}\sum_{i=1}^{d}{\lambda }_i\notag \\ & =\sum_{i=1}^{d'}{\lambda }_i\quad \text{（由于${\lambda }_i$已按从大到小排序）} \tag{10.61} % &\quad \text{（由于${\lambda }_i$已按从大到小排序，故应取前在的$d'$个）}\notag \end{align}$
由式(10.61)知，取前 $d^{'}$ 个特征值对应的特征向量，组成对应的矩阵 $\hat{\mathbf{W}}_{d\times d'}$ ，即为优化问题式(10.52)的解。这时，就可以用其进行降维，即对于 $d$ 维原始空间中的样本 $\boldsymbol{x}$ ，通过变换式 $\hat{\boldsymbol{z}}=\hat{\mathbf{W}}^{\mathrm{T}}\boldsymbol{x}$ 得到超平面 $\hat{\mathbf{W}}$ 中的样本 $\hat{\boldsymbol{z}}$ 。

这即为主成分分析算法（PCA），归纳成【西瓜书图10.5】。

注：“主成分”从字面上易理解为“保留 $\boldsymbol{x}$ 的主要属性，丢掉不重要的属性”，显然，这种理解是错误的。它是“丢掉”（截断），但不是针对 $\boldsymbol{x}$ 而是针对 $\boldsymbol{z}$ ，前者的分量是样本的属性，后者的分量已是各属性的混合体（由10.3 主成分分析的优化目标中式(10.21)进行混合）。