（《机器学习》完整版系列）第10章 降维与度量学习——10.2 低维嵌入（立交桥就是嵌入三维空间中的二维）

虽然空间是高维，但是与学习任务相关的样本可能只与其中某个曲面相关（比如，过马路只需要一座立交桥），这一限定就实现了降维。
三维中的曲面，可以“展”成平面区域，实现了从三维降成二维。
重点讨论了特征分解进行降维的技巧。这一技巧是机器学习中的常用技巧，我们会多次碰到，请同学们学好它。

低维嵌入

虽然空间是高维，但是与学习任务相关的样本可能只与其中某个曲面相关（比如，过马路只需要一座立交桥），这一限定就实现了降维。 例如，三维中的曲面，可以“展”成平面区域，实现了从三维降成二维，即【西瓜书图10.2】所示，其中，左图中的曲面是“嵌入”到三维空间中了。

多维缩放（MDS）要求在降维过程中保持距离不变。 样本${\mathbf{x}}_i$与${\mathbf{x}}_j$有距离${\mathrm{dist}}_{ij}$，则对应于样本集$D$可计算出距离矩阵$\mathbf{D}$，其元素为${\mathrm{dist}}_{ij}=||{\mathbf{x}}_i-{\mathbf{x}}_j||$。

设有变换
$$\begin{array}{r}\mathbf{z}=f(\mathbf{x})\end{array}\text{\hspace{1em}(10.1)}$$
变换到低维空间后，算法要求保持距离不变，即 { z i } i = 1 m \{\boldsymbol{z}_i\}_{i=1}^m {zi​}i=1m​的距离矩阵仍为$\mathbf{D}$。
%${\mathbf{x}}_i$与${\mathbf{x}}_j$分别对应为${\mathbf{z}}_i$与${\mathbf{z}}_j$，再

而在低维中可以定义距离为欧氏距离，则有：${\mathrm{dist}}_{ij}=||{\mathbf{z}}_i-{\mathbf{z}}_j||$，其左边为$\mathbf{D}$中元素，而右边平方可展开为：$||{\mathbf{z}}_i-{\mathbf{z}}_j|{|}^2={\mathbf{z}}_i^{\mathrm{T}}{\mathbf{z}}_i+{\mathbf{z}}_j^{\mathrm{T}}{\mathbf{z}}_j-2{\mathbf{z}}_i^{\mathrm{T}}{\mathbf{z}}_j$，由此启发我们考察内积矩阵
$$\begin{array}{r}\mathbf{B}={\mathbf{Z}}^{\mathrm{T}}\mathbf{Z},(b_{ij}={\mathbf{z}}_i^{\mathrm{T}}{\mathbf{z}}_j)\end{array}\text{\hspace{1em}(10.2)}$$
其中，$\mathbf{Z}$的列为${\mathbf{z}}_i$。

【西瓜书】讨论了由矩阵$\mathbf{D}$求矩阵$\mathbf{B}$，即【西瓜书式(10.10)】，这里我们选择一些式子推导来揭示用到的技巧。

对$\mathbf{z}$进行中心化
$$\begin{array}{r}{{\mathbf{z}}^{\prime }}_i={\mathbf{z}}_i-\frac{1}{m}\sum _{i=1}^m{\mathbf{z}}_i\end{array}\text{\hspace{1em}(10.3)}$$
则${\sum }_{i=1}^m{{\mathbf{z}}^{\prime }}_i=0$，后续设$\mathbf{z}$已被中心化，即${\sum }_{i=1}^m{\mathbf{z}}_i=0$。 中心化后的效果是矩阵$\mathbf{B}$的行（列）上元素之和为0，即
$$\begin{array}{rl}\sum _{j=1}^m{b}_{ij}& =\sum _{j=1}^m{\mathbf{z}}_i^{\mathrm{T}}{\mathbf{z}}_j\\ & ={\mathbf{z}}_i^{\mathrm{T}}\sum _{j=1}^m{\mathbf{z}}_j\\ & =0\\ \sum _{i=1}^m{b}_{ij}& =0\text{（由对称性）}\end{array}\text{\hspace{1em}(10.4)(10.5)}$$

【西瓜书式(10.3)】两端对$i$求和，有
$$\begin{array}{rl}\sum _{i=1}^m{d}_{ij}^2& =\sum _{i=1}^m{b}_{ii}+\sum _{i=1}^m{b}_{jj}-2\sum _{i=1}^m{b}_{ij}\\ & =\mathrm{tr}(\mathbf{B})+m\cdot b_{jj}-2\cdot 0\\ & =\mathrm{tr}(\mathbf{B})+m\cdot b_{jj}\end{array}\text{\hspace{1em}(10.6)}$$
式(10.6)即为【西瓜书式(10.4)】，同样可得【西瓜书式(10.5)】。

对式(10.6)两边针对$j$求和，则
$$\begin{array}{rl}\sum _{j=1}^m\sum _{i=1}^m{d}_{ij}^2& =\sum _{j=1}^m\cdot \mathrm{tr}(\mathbf{B})+m\cdot \sum _{j=1}^m{b}_{jj}\\ & =m\cdot \mathrm{tr}(\mathbf{B})+m\cdot \mathrm{tr}(\mathbf{B})\\ & =2m\cdot \mathrm{tr}(\mathbf{B})\end{array}\text{\hspace{1em}(10.7)}$$
式(10.7)即为【西瓜书式(10.6)】的推导过程。

【西瓜书式(10.7)$\sim$(10.9)】是引入记号，在此记号下，重写【西瓜书式(10.4)$\sim$(10.6)】，有
$$\begin{array}{rl}{b}_{jj}& =d_{.j}^2-\frac{\mathrm{tr}(\mathbf{B})}{m}\\ b_{ii}& =d_{i.}^2-\frac{\mathrm{tr}(\mathbf{B})}{m}\\ 0& =-d_{..}^2+\frac{2\mathrm{tr}(\mathbf{B})}{m}\end{array}\text{\hspace{1em}(10.8)(10.9)(10.10)}$$
此三式相加，得
$$\begin{array}{rl}{b}_{jj}+b_{ii}& =d_{.j}^2+d_{i.}^2-d_{..}^2\end{array}\text{\hspace{1em}(10.11)}$$

又由【西瓜书式(10.3)】，有
$$\begin{array}{rl}{b}_{ij}& =-\frac{1}{2}(d_{ij}^2-b_{ii}-b_{jj})\end{array}\text{\hspace{1em}(10.12)}$$
式(10.11)代入式(10.12)即得【西瓜书式(10.10)】。 即可以由矩阵$\mathbf{D}$的元素求出矩阵$\mathbf{B}$的元素。

下面从内积矩阵$\mathbf{B}$找出从高维到低维的变换。

由矩阵理论，可以求出$\mathbf{B}$的特征分解，即
$$\begin{array}{r}\mathbf{B}=\mathbf{V}\mathbf{\Lambda }{\mathbf{V}}^{\mathrm{T}}\end{array}\text{\hspace{1em}(10.13)}$$
其中，对角矩阵$\mathbf{\Lambda }=\mathrm{diag}({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_d)$，主对角线上为从大到小排列的$\mathbf{B}$特征值，其余非主对角线的元素全为0。

由式(10.2)及式(10.13)，有
$$\begin{array}{rl}{\mathbf{Z}}^{\mathrm{T}}\mathbf{Z}& =\mathbf{V}\mathbf{\Lambda }{\mathbf{V}}^{\mathrm{T}}\\ & =[\mathbf{V}{\mathbf{\Lambda }}^{\frac{1}{2}}][{\mathbf{\Lambda }}^{\frac{1}{2}}\mathbf{V}{]}^{\mathrm{T}}\end{array}\text{\hspace{1em}(10.14)}$$
其中，${\mathbf{\Lambda }}^{\frac{1}{2}}=\mathrm{diag}(\sqrt{{\lambda }_1},\sqrt{{\lambda }_2},\cdots ,\sqrt{{\lambda }_d})$，注：这里各特征值均为非负，因为内积矩阵是半正定的，即$\mathbf{B}$为半正定。

由式(10.14)，有
$$\begin{array}{rl}\mathbf{Z}& ={\mathbf{\Lambda }}^{\frac{1}{2}}{\mathbf{V}}^{\mathrm{T}}\end{array}\text{\hspace{1em}(10.15)}$$

上述推理中，并未涉及到降维，而是说：若变换保持距离不变，则内积矩阵$\mathbf{B}$也保持不变。$\mathbf{B}$经过特征分解后，就可考虑降维：取前面$d^{\prime }$个特征值（$d^{\prime }\ll d$）形成$\tilde{\mathbf{\Lambda }}$，对应于$\tilde{\mathbf{V}}$，则变换所得到的$\mathbf{Z}$可表述为【西瓜书式(10.12)】，注：作为算法应将“近似等于”改为“等于”（相当于作了变换）。
$$\begin{array}{rl}\mathbf{Z}& \approx {\tilde{\mathbf{\Lambda }}}^{\frac{1}{2}}{\tilde{\mathbf{V}}}^{\mathrm{T}}\end{array}\text{\hspace{1em}(10.16)}$$
它有两个特点：

• $\mathbf{Z}$实现了对$\mathbf{x}$的降维（从$d$维降到了$d^{\prime }$维），即以样本集$D$的样本为列的矩阵$\mathbf{X}$（$d$行属性）变换成了矩阵$\mathbf{Z}$（$d^{\prime }$行属性）。注：本章的$\mathbf{X}$不是设计矩阵（设计矩阵参见对简化模型数学化 中的式(9)），而是设计矩阵的转置。 在特值分解时，通常以样本为“列”形成矩阵$\mathbf{X}$，特点：$\mathbf{X}$为$d\times m$，协方差矩阵$\mathbf{X}{\mathbf{X}}^{\mathrm{T}}$为$d\times d$的方形矩阵。
• “距离不变”改成了“距离近似”。

上述过程总结成MDS算法【西瓜书图10.3】。 过程简记为
$$\begin{array}{r}\{\begin{array}{ll}& \text{矩阵X∈Rd×m（m列，d维x组成列）}\Rightarrow \text{距离矩阵D∈Rm×m}\Rightarrow \\ & \text{内积矩阵B∈Rm×m}\Rightarrow \text{特征矩阵Λ∈Rm×m}\Rightarrow \\ & \text{截取左上角阵Λ ∈Rd′×d′}\Rightarrow \text{矩阵Z∈Rd′×m（m列，d′维z组成列）}\end{array}\end{array}$$
其中，利用特征分解进行降维的技巧，后续我们会多次碰到，摘出为式(10.17)。
$$\begin{array}{r}\{\begin{array}{ll}& \text{内积矩阵B∈Rm×m}\Rightarrow \text{特征矩阵Λ∈Rm×m}\Rightarrow \\ & \text{截取左上角阵Λ ∈Rd′×d′}\Rightarrow \text{矩阵Z∈Rd′×m}\end{array}\end{array}\text{\hspace{1em}(10.17)}$$

上述推导MDS中并没有限定式(10.1)的变换形式，当其变换为线性变换【西瓜书式(10.13)】时，则为MDS的线性降维。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：10.1 k近邻算法（你是住在穷人区还是富人区？）
下一篇：10.3 主成分分析的优化目标（坐标变换的魔力）