SVM_2

SVM进阶

核函数

在推导SVM公式时，我们假设训练样本是线性可分的，即存在一个划分超平面能将训练样本正确分类。然而在实际应用中，原始样本空间也许并不存在一个能正确划分样本类的超平面。例如，“异或”问题就不是线性可分的。

对这样的问题，可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。

令$\varphi (x)$表示将$x$映射后的特征向量，于是，在特征空间中划分超平面所对应的模型可表示为$$f(x)=w^T\varphi (x)+b$$其中$w$和$b$是模型参数。其模型可表示为$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w^T\varphi (x_i)+b)\ge 1,i=1,2,\dots ,m. \end{gathered}$$其对偶问题为：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi (x_i{)}^T\varphi (x_j{)}^T \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0, \\ {\alpha }_i\ge 0,i=1,2,\dots ,m.\text{\hspace{1em}(1)} \end{gathered}$$
求解上式涉及到计算$\theta (x_i{)}^T\theta (x_j)$,这是样本$x_i$与$x_j$映射到特征空间后的内积。由于特征空间维数可能很高，甚至无穷维，直接计算困难。为了避开这个障碍，可以设想一个函数：$$\kappa (x_i,x_j)=⟨\varphi (x_i),\varphi (x_j)⟩=\varphi (x_i{)}^T\varphi (x_j)\text{\hspace{1em}(2)}$$把（2）式带入（1）式可得$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa (x_i,x_j) \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0, \\ {\alpha }_i\ge 0,i=1,2,\dots ,m.\text{\hspace{1em}(3)} \end{gathered}$$求解后可得$$f(x)=w^T\varphi (x)+b=\sum _{i=1}^m{\alpha }_i{y}_i\varphi (x_i{)}^T\varphi (x)+b=\sum _{i=1}^m{\alpha }_i{y}_i\kappa (x,x_i)+b\text{\hspace{1em}(4)}$$

核函数定理

令$\chi$为输入空间，$\kappa (\cdot ,\cdot )$是定义在$\chi$ x $\chi$上的对称函数，则$\kappa$是核函数当且仅当对于任意数据 D = { x 1 , x 2 , … , x m } D=\{x_1, x_2, \dots, x_m\} D={x1​,x2​,…,xm​}，“核矩阵”$K$总是半正定的：$$K=\left[\begin{array}{ccccc}\kappa (x_1,x_2)& \dots & \kappa (x_1,x_j)& \dots & \kappa (x_1,x_m)\\ ⋮& \ddots & ⋮& \ddots & ⋮\\ \kappa (x_i,x_1)& \dots & \kappa (x_i,x_j)& \dots & \kappa (x_i,x_m)\\ ⋮& \ddots & ⋮& \ddots & ⋮\\ \kappa (x_m,x_1)& \dots & \kappa (x_m,x_j)& \dots & \kappa (x_m,x_m)\end{array}\right]\text{\hspace{1em}(5)}$$公式（5）表明，只要一个对称函数所对应的核矩阵半正定，它就能作为核函数使用。事实上，对于一个半正定核矩阵，总能找到一个与之对应的映射$\varphi$。换言之，任何一个核函数都隐式地定义了一个称为“再生核希尔伯特空间”（Reproducing Kernel Hilbert Space，简称RKHS）的特征空间。

通过前面的讨论可知，我们希望样本在特征向量空间内线性可分，因此特征空间的好坏对支持向量机的性能至关重要。需要注意的是，在不知道特征映射的形式时，我们并不知道什么样的核函数是合适的，而核函数也仅是隐式的定义了这个特征空间。于是，“核函数选择”成为支持向量机的最大变数。若核函数选择不合适，则意味着将本样本映射到了一个不合适的特征空间，很可能导致性能不佳。

---

名称	表达式	参数
线性核	$\kappa (x_i,x_j)=x_i^T{x}_j$
多项式核	$\kappa (x_i,x_j)=(x_i^T{x}_j{)}^d$	$d\ge 1$为多项式的次数
高斯核	$\kappa (x_i,x_j)=exp(\frac{\Vert x_i-x_j{\Vert }^2}{2{\sigma }^2})$	$\sigma >0$为高斯核的带宽
拉普拉斯核	$\kappa (x_i,x_j)=exp(-\frac{\Vert x_i-x_j{\Vert }^2}{2{\sigma }^2})$	$\sigma >0$
Sigmoid核	$\kappa (x_i,x_j)=tanh(\beta x_i^T{x}_j+\theta )$	$tanh$为双曲正切函数，$\beta >0,\theta <0$

此外，还可以通过组合得到，例如：

• 若${\kappa }_1$和${\kappa }_2$为核函数，则对于任意正数${\gamma }_1$、${\gamma }_2$，其线性组合，$${\gamma }_1{\kappa }_1+{\gamma }_2{\kappa }_2$$也是核函数
• 若${\kappa }_1$和${\kappa }_2$为核函数，则核函数的直积，$${\kappa }_1\otimes \kappa (x,z)={\kappa }_1(x,z){\kappa }_2(x,z)$$也是核函数
• 若${\kappa }_1$为核函数，则对于任意函数$g(x)$，$$\kappa (x,z)=g(x){\kappa }_1(x,z)g(z)$$也是核函数