（《机器学习》完整版系列）第10章 降维与度量学习——10.7 核化线性降维（线性降维+“核技巧”）

前面的主成分分析（PCA）是线性降维（变换式为线性的），若加上“核技巧”，则为“核主成分分析（KPCA）”。
“核技巧”，它是采用“曲线救国”的道路， 本应该将$d$维的$\mathbf{x}$直接降成$d^{\prime }$维的$\mathbf{y}$，改为： 先用非线性变换（核函数）将$d$维的$\mathbf{x}$升维成$d^{+}$维的$\mathbf{z}$，再对$d^{+}$维的$\mathbf{z}$使用PCA算法降成$d^{\prime }$维的$\mathbf{y}$

核化线性降维

在【西瓜书第6章】讨论了“核技巧”，它是采用“曲线救国”的道路，这里仍采用此策略。 本应该将$d$维的$\mathbf{x}$直接降成$d^{\prime }$维的$\mathbf{y}$，改为： 先用非线性变换（核函数）将$d$维的$\mathbf{x}$升维成$d^{+}$维的$\mathbf{z}$，再对$d^{+}$维的$\mathbf{z}$使用PCA算法降成$d^{\prime }$维的$\mathbf{y}$，如图10.1所示。

图10.1 KPCA路径

显然，这里的$\mathbf{z}$、$\mathbf{y}$分别充当了上节的$\mathbf{x}$和$\mathbf{z}$，对照上节的【西瓜书式(10.17)】即有【西瓜书式(10.19)】（注：这里$i$为样本编号（$i=1,2,\cdots ,m$），$j$为样本的维度编号（$j=1,2,\cdots ,d$）），或由式(10.60)对应有
$$\begin{array}{r}\mathbf{Z}{\mathbf{Z}}^{\mathrm{T}}=\mathbf{W}\mathbf{\Lambda }{\mathbf{W}}^{\mathrm{T}},{\mathbf{W}}^{\mathrm{T}}\mathbf{W}=\mathbf{I}\end{array}\text{\hspace{1em}(10.65)}$$
即
$$\begin{array}{r}{\mathbf{W}}^{\mathrm{T}}\mathbf{Z}{\mathbf{Z}}^{\mathrm{T}}\mathbf{W}=\mathbf{\Lambda },{\mathbf{W}}^{\mathrm{T}}\mathbf{W}=\mathbf{I}\end{array}\text{\hspace{1em}(10.66)}$$

从式(10.66)知，以${\mathbf{W}}^{\mathrm{T}}\mathbf{Z}$为整体变量即可消去$\mathbf{W}$，从而启发我们引入如下变换式：
$$\begin{array}{r}\{\begin{array}{l}{\alpha }_i^j=\frac{1}{{\lambda }_j}{\mathbf{z}}_i^{\mathrm{T}}{\mathbf{w}}_j\\ {\mathbf{z}}_i=\varphi ({\mathbf{x}}_i)\end{array}\end{array}\text{\hspace{1em}(10.67)}$$

（i）式(10.67)代入【西瓜书式(10.19)】消去$\mathbf{w}$，有

$$\begin{array}{r}\sum _{i=1}^m\varphi ({\mathbf{x}}_i)\varphi ({\mathbf{x}}_i{)}^{\mathrm{T}}\sum _{i=1}^m\varphi ({\mathbf{x}}_i){\alpha }_i^j={\lambda }_j\sum _{i=1}^m\varphi ({\mathbf{x}}_i){\alpha }_i^j\end{array}\text{\hspace{1em}(10.68)}$$
注意：易错误地化为
$$[\sum _{i=1}^m\varphi ({\mathbf{x}}_i)\varphi ({\mathbf{x}}_i{)}^{\mathrm{T}}-{\lambda }_j]\sum _{i=1}^m\varphi ({\mathbf{x}}_i){\alpha }_i^j=0$$
更正：${\lambda }_j$应为${\lambda }_j\mathbf{I}$。

引入记号
$$\begin{array}{r}\{\begin{array}{l}\mathbf{K}=\text{以(K)ij为元素的矩阵}=\text{以Ki为行的矩阵}\\ (\mathbf{K}{)}_{ij}=\kappa ({\mathbf{x}}_i,{\mathbf{x}}_j)={\varphi ({\mathbf{x}}_i)}^{\mathrm{T}}\varphi ({\mathbf{x}}_j)\\ {\mathbf{\alpha }}^j=({\alpha }_1^j;{\alpha }_2^j;\cdots ;{\alpha }_m^j)\\ \mathbf{\varphi }=(\varphi ({\mathbf{x}}_1);\varphi ({\mathbf{x}}_2);\cdots ;\varphi ({\mathbf{x}}_m))\end{array}\end{array}\text{\hspace{1em}(10.69)}$$
则
$$\begin{array}{rl}\text{式(10.68)右边}& ={\lambda }_j{\mathbf{\varphi }}^{\mathrm{T}}{\mathbf{\alpha }}^j\\ \text{式(10.68)左边}& =\sum _{i=1}^m\varphi ({\mathbf{x}}_i)\varphi ({\mathbf{x}}_i{)}^{\mathrm{T}}\sum _{k=1}^m\varphi ({\mathbf{x}}_k){\alpha }_k^j\\ & =\sum _{i=1}^m\sum _{k=1}^m\varphi ({\mathbf{x}}_i)\varphi ({\mathbf{x}}_i{)}^{\mathrm{T}}\varphi ({\mathbf{x}}_k){\alpha }_k^j\\ & =\sum _{i=1}^m\sum _{k=1}^m\varphi ({\mathbf{x}}_i)\kappa ({\mathbf{x}}_i,{\mathbf{x}}_k){\alpha }_k^j\\ & =\sum _{i=1}^m\varphi ({\mathbf{x}}_i)\left(\sum _{k=1}^m\kappa ({\mathbf{x}}_i,{\mathbf{x}}_k){\alpha }_k^j\right)\\ & =\sum _{i=1}^m\varphi ({\mathbf{x}}_i)\left(\sum _{k=1}^m(\mathbf{K}{)}_{ik}{\alpha }_k^j\right)\\ & =\sum _{i=1}^m\varphi ({\mathbf{x}}_i){\mathbf{K}}_i{\mathbf{\alpha }}^j\\ & =\left(\sum _{i=1}^m\varphi ({\mathbf{x}}_i){\mathbf{K}}_i\right){\mathbf{\alpha }}^j\\ & ={\mathbf{\varphi }}^{\mathrm{T}}\mathbf{K}{\mathbf{\alpha }}^j\end{array}\text{\hspace{1em}(10.70)(10.71)}$$
则由式(10.70)、式(10.71)有
$$\begin{array}{r}{\mathbf{\varphi }}^{\mathrm{T}}(\mathbf{K}{\mathbf{\alpha }}^j-{\lambda }_j{\mathbf{\alpha }}^j)=0\end{array}\text{\hspace{1em}(10.72)}$$
由于$\mathbf{\varphi }$已由数据集$D$确定，即它为常向量。 故式(10.72)转化为
$$\begin{array}{r}\mathbf{K}{\mathbf{\alpha }}^j={\lambda }_j{\mathbf{\alpha }}^j\end{array}\text{\hspace{1em}(10.73)}$$
即为【西瓜书式(10.24)】，比较【西瓜书式(10.24)】与【西瓜书式(10.17)】，形式一样，故向量${\mathbf{\alpha }}^j$解法一样。 即： 对矩阵$\mathbf{K}$进行特征分解，取最大的$d^{\prime }$个特征值对应的特征向量即为所求（参考式(10.17)）：${\mathbf{\alpha }}^1,{\mathbf{\alpha }}^2,\cdots ,{\mathbf{\alpha }}^{d^{\prime }}$。

（ii）式(10.67)代入【西瓜书式(10.19)】消去$\mathbf{z}$，则有
$$\begin{array}{r}{\mathbf{w}}_j=\sum _{i=1}^m\varphi ({\mathbf{x}}_i){\alpha }_i^j\end{array}\text{\hspace{1em}(10.74)}$$
即是由【西瓜书式(10.20)】得到的【西瓜书式(10.22)】。

回到图10.1，$\mathbf{z}$到$\mathbf{y}$为PCA，由式(10.34)有
$$\begin{array}{rl}\mathbf{y}& ={\hat{\mathbf{W}}}^{\mathrm{T}}\mathbf{z}\\ & =({\mathbf{w}}_1,{\mathbf{w}}_2,\cdots ,{\mathbf{w}}_{d^{\prime }}{)}^{\mathrm{T}}\mathbf{z}\\ & =({\mathbf{w}}_1^{\mathrm{T}}\mathbf{z};{\mathbf{w}}_2^{\mathrm{T}}\mathbf{z};\cdots ;{\mathbf{w}}_{d^{\prime }}^{\mathrm{T}}\mathbf{z})\end{array}\text{\hspace{1em}(10.75)}$$
由式(10.75)得分量表达
$$\begin{array}{rl}{y}_j& ={\mathbf{w}}_j^{\mathrm{T}}\mathbf{z}\text{（yj为向量y的第j个分量）}\\ & ={\left(\sum _{i=1}^m\varphi ({\mathbf{x}}_i){\alpha }_i^j\right)}^{\mathrm{T}}\varphi (\mathbf{x})\text{（由式(10.74)）}\\ & =\sum _{i=1}^m({\alpha }_i^j{)}^{\mathrm{T}}\varphi ({\mathbf{x}}_i{)}^{\mathrm{T}}\varphi (\mathbf{x})\\ & =\sum _{i=1}^m{\alpha }_i^j\kappa ({\mathbf{x}}_i,\mathbf{x})\end{array}\text{\hspace{1em}(10.76)}$$
其中，${\alpha }_i^j$已通过上述特征向量求出了，这即为【西瓜书式(10.25)】，取$j=1,2,\cdots ,d^{\prime }$，则实现了将$d$维的$\mathbf{x}$降为$d^{\prime }$维的$\mathbf{y}$。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：10.6 图像压缩（图像坐标x压缩成了坐标z么？错！）
下一篇：10.8 流形学习（等度量映射Isomap算法、局部线性嵌入LLE算法）