【机器学习】非线性降维与核主成分分析KPCA

其他机器学习系列文章见于专题：机器学习进阶之路——学习笔记整理，欢迎大家关注。

1. 核化线性降维

  线性降维方法假设从高维空间到低维空间的函数映射是线性的，然而在有些时候，高维空间是线性不可分的，需要找到一个非线性函数映射才能进行恰当的降维，这就是非线性降维。

线性可分问题与线性不可分问题

  核化线性降维方法是一种典型的非线性降维方法，它基于核技巧对线性降维方法进行“核化”，然后再降维。

  下面我们将要介绍的核主成分分析（KPCA）就是一种经典的核化线性降维方法。

2. KPCA概述

  核主成分分析（Kernelized PCA，KPCA）利用核技巧将$d$维线性不可分的输入空间映射到线性可分的高维特征空间中，然后对特征空间进行PCA降维，将维度降到$d^{\prime }$维，并利用核技巧简化计算。也就是一个先升维后降维的过程，这里的维度满足$d^{\prime }<d<D$。

3. KPCA原理

  原始输入空间中的样本$X=\left(x_1,x_2,\dots ,x_m\right)$通过映射$\varphi$得到高维（$D$维）特征空间的样本$\Phi (X)=\left(\varphi \left(x_1\right),\dots ,\varphi \left(x_i\right),\dots ,\varphi \left(x_m\right)\right)$（假设高维空间的数据样本已经进行了中心化），之后利用投影矩阵$W=\left(w_1,\dots ,w_j,\dots ,w_{d^{\prime }}\right)$把高维空间的样本投影到低维空间。

  我们只需要对高维空间的协方差矩阵$\Phi (X)\Phi (X{)}^T$进行特征值分解，将求得的特征值排序，取前$d^{\prime }$个特征值对应的特征向量构成$W=\left(w_1,w_2,\dots ,w_{d^{\prime }}\right)$，这就是KPCA的解。

  首先求解式（1）：
$$\Phi \left(X\right)\Phi {\left(X\right)}^{T}W=\lambda W\text{\hspace{1em}(1)}$$

  由式（1）可得式（2）：
$$W=\frac{1}{\lambda }\Phi \left(X\right)\Phi {\left(X\right)}^{T}W=\Phi \left(X\right)A\text{\hspace{1em}(2)}$$

  其中，投影矩阵的第$j$维为$w_j=\frac{1}{{\lambda }_j}\left({\sum }_{i=1}^m\varphi \left(x_i\right)\varphi {\left(x_i\right)}^T\right)w_j={\sum }_{i=1}^m\varphi \left(x_i\right)\frac{\varphi {\left(x_i\right)}^T{w}_j}{{\lambda }_j}={\sum }_{i=1}^m\varphi \left(x_i\right){\alpha }_i^j$；而${\alpha }_i^j=\frac{1}{{\lambda }_j}\varphi {\left(x_i\right)}^T{w}_j$是${\alpha }_i$的第$j$个分量，矩阵$\mathbf{A}=\left({\alpha }_1,\dots ,{\alpha }_i,\dots ,{\alpha }_m\right)$。

  高维空间的样本内积计算量非常大，在这里，利用核技巧避免对特征空间上的样本内积直接进行计算，于是我们需要引入核函数：$\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi \left({\mathbf{x}}_j\right)$和核矩阵$\mathbf{K}$，其中$(\mathbf{K}{)}_{ij}=\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)$。

  先将式（2）代入式（1）得到：
$$\Phi (X)\Phi (X{)}^T\Phi (X)A=\lambda \Phi (X)A\text{\hspace{1em}(3)}$$

  两边左乘$\Phi (X{)}^T$：
$$\Phi (X{)}^T\Phi (X)\Phi (X{)}^T\Phi (X)A=\lambda \Phi (X{)}^T\Phi (X)A\text{\hspace{1em}(4)}$$

  构造出$\Phi (X{)}^T\Phi (X)$，进一步用核矩阵$\mathbf{K}$代替：
$$\begin{gathered} {\mathbf{K}}^2\mathbf{A}=\lambda \mathbf{K}\mathbf{A} \\ \mathbf{K}\mathbf{A}=\lambda \mathbf{A}\text{\hspace{1em}(5)} \end{gathered}$$

  由此，式（1）中的特征值分解问题就变成了式（5）中的特征值分解问题。将求得的特征值排序：${\lambda }_1\ge {\lambda }_2\ge \dots \ge {\lambda }_D$，取$\mathbf{K}$最大的$d^{\prime }$个特征值对应的特征向量。注意：这里的特征向量是核矩阵$\mathbf{K}$的特征向量，而不是投影矩阵$W$的特征向量，接下来还要代回到（2）式中，得到从高维输入空间到低维空间的投影矩阵$W$。

  对于一个新样本$x$，假设其投影后为$z$，其第$j\left(j=1,2,\dots ,d^{\prime }\right)$维坐标为：
$$\begin{array}{rl}{z}_j& ={\mathbf{w}}_j^{\mathrm{T}}\varphi (\mathbf{x})=\sum _{i=1}^m{\alpha }_i^j\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi (\mathbf{x})\\ & =\sum _{i=1}^m{\alpha }_i^j\kappa \left({\mathbf{x}}_i,\mathbf{x}\right)\end{array}\text{\hspace{1em}(6)}$$

参考文献：

1. 《机器学习》第十章降维与度量学习——周志华
2. KPCA原理及部分代码
3. 降维算法之KPCA原理推导
4. 《Python机器学习》读书笔记（七）特征抽取——kPCA
   主成分分析（PCA）和基于核函数的主成分分析（KPCA）入门