两遍读懂支持向量机 SVM (Kernel SVM)

0. 理解 SVM 系列

Step-1. 两遍读懂支持向量机 SVM (软硬 SVM)
Step-2. 两遍读懂支持向量机 SVM (Kernel SVM)
Step-3. 两遍读懂支持向量机 SVM (一些细节)

---

1. Kernel SVM

SVM 算法中 软间隔 SVM 和硬间隔 SVM 是用来求解线性可分 (或勉强线性可分) 的分类问题的，而 Kernel SVM 则是用来求解线性不可分的分类问题的。顾名思义，Kernel SVM 利用 核函数 (Kernel function) 将样本从低维空间 (输入空间) 映射到高维空间 (特征空间) 来进行线性划分。

考虑如下图 (a) 中的例子，假设样本 $x$ 是 1 维特征向量 ($x\in R$，$x^{(i)}$表示第 $i$ 个样本)，即可看做是 $x$ 轴上的实数。现在需要将其进行分类。很显然，在一维空间内无法用一条直线将他们区分开，因此这是一个典型的线性不可分问题。于是乎，我们需要再增加一维特征，如 $x^2$ 轴，这样一来，我们可以非常轻松的在二维空间上线性分割。这个就是 Kernel SVM 思想的简单体现，即：既然低维空间无法线性分割，那我们就将样本转换到高维空间进行线性分割吧。

此时，摆在我们面前的有两道难题：(1) 如何进行映射？(2) 如何求解高维 $w^{\ast },b^{\ast }$ 参数？ 对于第一个问题，当然是利用核函数进行维度的转变 (如 $x\to \varphi (x)$)。对于第二个问题，我们将原先求解软硬间隔 SVM 的优化目标中的 $x$ 替换为 $\varphi (x)$ ，并结合核技巧来求解最终的超平面 $w^{\ast }\varphi (x)+b^{\ast }=0$。

2. 利用 Kernel 函数进行维度转变

假定映射函数为 $\varphi (x)$，即 $\varphi :x\to \varphi (x)$。其中，$x$ 表示输入空间样本，为 $p$ 维向量，将其表示为 $x=(x_1,x_2,...,x_p{)}^T$。$\varphi (x)$ 为其映射的高维空间的样本，为 $k$ 维向量，记为 $\varphi (x)=(x_1,x_2,...,x_k{)}^T$。如下图所示，这里的 $\varphi$ 函数将 $p$ 维向量转换为高维的向量。

我们“惊喜的”发现，在输入空间的点 $x$ 与高维特征空间的点 $\varphi (x)$ 存在这么一个等式，即，

$$\varphi (x^{(i)})\cdot \varphi (x^{(j)})=(x^{(i)}\cdot x^{(j)}+1{)}^2$$

于是乎，高维向量 ($\varphi (x)$) 的计算可以用 ($x$) 来表示。可以想象成将会极大的节省计算量。在SVM 中，我们定义一些数学公式为 核函数 (Kernel fucntion)，它们能将输入空间的样本转化为高维空间的形式，同时将高维向量的操作转化为低维向量的操作，从而节省巨大的计算量 (也称为 核技巧 (Kernel trick))。我们将核函数定义为 $\kappa (x^{(i)},x^{(j)})$，其输入是两个向量 $x^{(i)},x^{(j)}$，输出是 $x^{(i)}$ 和 $x^{(j)}$ 的内积，即，

$$\kappa (x^{(i)},x^{(j)})=\varphi (x^{(i)})\cdot \varphi (x^{(j)})$$

常见的核函数包括多项式核函数 (Polynomial Kernel)，高斯核函数 (Gaussion Kernel) 等，这些函数都有上述性质。全部核函数请参照博客 Kernel Functions¹ 。

• Polynomial Kernel： $\kappa (x_i,x_j)=(x_i\cdot x_j+1{)}^d$，其中 $d\ge 0$
• Gaussion Kernel：$\kappa (x_i,x_j)=\exp (-\frac{||x_i-x_j|{|}^2}{2{\sigma }^2})$ ，其中 $\sigma >0$
• Gaussion Radial Basis Kernel：$\kappa (x_i,x_j)=\exp (-\gamma ||x_i-x_j|{|}^2)$，其中 $\gamma >0$
• Hyperbolic tangent kernel：$\kappa (x_i,x_j)=\tanh (k{x}_i\cdot x_j+c)$，其中 $k>0,c<0$

注意，每一种核函数对应着一种映射方式 $\varphi$。比如 Polynomial Kernel 中，输入样本 $x$ 可以转换为，

$$\varphi (x)=(\xi ,\sqrt{2\gamma \xi }(x_1),\sqrt{2\gamma \xi }(x_2),...,\sqrt{2\gamma \xi }(x_p),\gamma (x_1{)}^2,\gamma (x_2{)}^2,...,\gamma (x_p{)}^2{)}^T$$

在一些教材中，人们提出了一种叫 线性核函数 (Linear Kernel)² 的概念，即 $\kappa (x^{(i)},x^{(j)})=x^{(i)}\cdot x^{(j)}$。事实上，当 Kernel SVM 使用这个核函数时，并没有进行维度的变化。换句话说，如果 Kernel SVM 使用 Linear Kernel，其效果等价于之前的 硬间隔 SVM。

3. 求解高维空间中的线性参数 $w^{\ast },b^{\ast }$

SVM 的优化思路是 样本点到超平面的间隔最大化，在原空间上SVM 要优化的问题的拉格朗日函数如下所示，即我们要做的就是在 ${\lambda }_i\ge 0$ 的约束下求解 $L(w,b,\lambda )$ 函数的最小值， (详细的推导过程请参考我的前一篇博客 $\to$ 软硬SVM)

$$\begin{gathered} L(w,b,\lambda )=\frac{1}{2}||w|{|}^2+\sum _i^m{\lambda }_i[1-y^{(i)}(w^T{x}^{(i)}+b)] \\ s.t.{\lambda }_i\ge 0 \end{gathered}$$

由于在原平面 $x$ 无法线性分割两类样本，于是我们将每个样本 $x$ 映射到高位空间 $\varphi (x)$，映射过程可以看做：$x^{(i)}\to \varphi (x^{(i)})$。故此时我们只需要将优化的问题中的 $x^{(i)}$ 替换为 $\varphi (x^{(i)})$ 即可，则优化问题变为，

$$\begin{gathered} L(w,b,\lambda )=\frac{1}{2}||w|{|}^2+\sum _i^m{\lambda }_i[1-y^{(i)}(w^T\varphi (x^{(i)})+b)] \\ s.t.{\lambda }_i\ge 0 \end{gathered}$$

我们将其转换为对偶问题 (即先对 $w,b$ 求 $L$ 的最小值，在对 $\lambda$ 求 $L$ 的最大值)，对 $w,b$ 的求导得到，

$$\frac{\partial L}{\partial w}=w-\sum _{i=1}^m{\lambda }_i{y}^{(i)}\varphi (x^{(i)}),\frac{\partial L}{\partial b}=-\sum _{i=1}^m{\lambda }_i{y}^{(i)}$$

令 $w,b$ 的偏导数为 0，我们得到 $w^{\ast }={\sum }_{i=1}^m{\lambda }_i{y}^{(i)}\varphi (x^{(i)})$ 以及 ${\sum }_{i=1}^m{\lambda }_i{y}^{(i)}=0$。我们将它们带入到 $L$ 中可得到其最小值 $L_{min}(w,b,\lambda )=\theta (\lambda )$，最优化问题转变为求解 $\theta (\lambda )$ 的最大值问题，即

$$\begin{gathered} \theta (\lambda )=-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}^{(i)}{y}^{(j)}[\varphi (x_i){]}^T\varphi (x_j)+\sum _{i=1}^m{\lambda }_i \\ s.t.\sum _{i=1}^m{\lambda }_i{y}^{(i)}=0,{\lambda }_i\ge 0,i=1...m. \end{gathered}$$

由于$\varphi (x_i),\varphi (x_j)$ 都是 (nx1) 维向量，因此上式中的 $[\varphi (x_i){]}^T\varphi (x_j)$ 也可以写为内积的形式 $\varphi (x_i)\cdot \varphi (x_j)$，故 $\theta (\lambda )$ 也可以写成 $\theta (\lambda )=-\frac{1}{2}{\sum }_{i=1}^m{\sum }_{j=1}^m{\lambda }_i{\lambda }_j{y}^{(i)}{y}^{(j)}\varphi (x_i)\varphi (x_j)+{\sum }_{i=1}^m{\lambda }_i$。

此时利用我们的核技巧 $\kappa (x_i,x_j)=\varphi (x_i)\cdot \varphi (x_j)$，将 $\theta (\lambda )$ 写作，

$$\theta (\lambda )=-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}^{(i)}{y}^{(j)}\kappa (x_i,x_j)+\sum _{i=1}^m{\lambda }_i$$

此时带入任一合理的核函数 $\kappa (x_i,x_j)$ 即可算出 $\theta (\lambda )$，与之前类似的，利用 SMO 算法，我们可以解出使得 $\theta (\lambda )$ 最大的 ${\lambda }^{\ast }$ 的值。

接着，我们找到位于决策平面上的点 $\varphi (x^{(s)})$，并将其带入方程 $y^{(s)}((w^{\ast }{)}^T\varphi (x^s)+b)=1$，我们可以计算出 $b^{\ast }$ 的值，

$$b^{\ast }=y^{(s)}-\sum _{i=1}^m{\lambda }_i{y}^{(i)}\varphi (x^{(i)})\varphi (x^{(i)})=y^{(s)}-\sum _{i=1}^m{\lambda }_i{y}^{(i)}\kappa (x^{(i)},x^{(s)})$$

于是乎，超平面 $(w^{\ast }{)}^T\varphi (x)+b=0$，可以写为，

$$\sum _{i=1}^m{\lambda }_i{y}^{(i)}\varphi (x^{(i)})\varphi (x)+b^{\ast }=0$$

将 $w^{\ast },b^{\ast }$ 全部带入上式，最终超平面可以写为，

$$\sum _{i=1}^m{\lambda }_i{y}^{(i)}\kappa (x^{(i)},x)+y^{(s)}-\sum _{i=1}^m{\lambda }_i{y}^{(i)}\kappa (x^{(i)},x^{(s)})=0$$

通过上述可以知道，通过核技巧，我们甚至不用知道映射的具体细节 $\varphi (x)$，而直接计算出了高维空间中的线性 $w^{\ast },b^{\ast }$，这些都是核函数的功劳。在应用中，我们倾向于将核函数看做一个黑盒子而不去理解其内部原理，但一定要理解 kernel SVM 的思想，即将输入空间转换为高维空间来进行线性划分。

---

1. DataFlair team. Kernel Functions-Introduction to SVM Kernel and Examples. Link ↩︎

2. Sonack. 机器学习技法–Kernel SVM. Link ↩︎