SVM（三）：非线性支持向量机

3.1 问题定义

现实任务中，训练样本经常不是线性可分的，即原始样本空间中并不存在一个能正确划分两类样本的超平面。

对于这样的问题，基于Mercer核展开定理，通过内积函数定义的非线性变换，将样本从原始空间映射到一个高维特征空间（Hibbert空间），使得样本在这个高维特征空间内线性可分（升维线性化）。

令$\varphi (\mathbf{x})$表示将$\mathbf{x}$映射后的特征向量，在特征空间中划分超平面对应的模型可表示为
$$f(\mathbf{x})={\mathbf{w}}^T\varphi (\mathbf{x})+b$$优化目标为
$$\begin{array}{rl}& \min \frac{1}{2}||\mathbf{w}|{|}^2\\ & s.t.y_i({\mathbf{w}}^T\varphi ({\mathbf{x}}_i)+b)\ge 1,i=1,2,...m\end{array}$$其对偶问题为
$$\begin{array}{rl}\underset{\alpha }{\max }& \sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_j)\\ s.t.& \sum _{i=1}^m{\alpha }_i{y}_i=0,\\ & {\alpha }_i\ge 0,i=1,2,...m\end{array}$$

该问题和线性可分SVM的优化目标函数的区别仅仅是将内积${\mathbf{x}}_i{\mathbf{x}}_j$替换为$\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_j)$。

$\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_j)$是${\mathbf{x}}_i$与${\mathbf{x}}_j$映射到特征空间后的内积，由于特征空间维数很高，甚至是无穷维，因此直接计算$\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_j)$通常是困难的。

如对于一个2维特征的数据$(x_1,x_2)$，需要将其映射到5维$(1,x_1,x_2,x_1^2,x_2^2,x_1{x}_2)$来做特征的内积。

3.2 核函数

假设$\varphi$是一个从低维的输入空间$\chi$（欧式空间的子集或者离散集合）到高维的希尔伯特空间$\mathcal{H}$的映射。如果存在函数$\mathbf{K}(,)$ 对于任意${\mathbf{x}}_i,{\mathbf{x}}_j\in \chi$都有：

$$\mathbf{K}(x_i,x_j)=<\varphi ({\mathbf{x}}_i),\varphi ({\mathbf{x}}_j)>=\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_j)$$

即${\mathbf{x}}_i$与${\mathbf{x}}_j$在特征空间的内积等于它们在原始样本空间中通过函数$\mathbf{K}(,)$计算的结果，则称$\mathbf{K}(,)$为核函数。
核函数使得计算在低维特征空间中进行，避免了高维特征空间中的巨大计算量，同时还利用了高维空间线性可分的特性。

凡是满足Mercer定理的函数都可以作为支持向量机的核函数。
一般所说核函数为正定核函数（正定核比Mercer更具一般性），一个函数为正定核函数的充分必要条件是如下：

对于任意$x_i\in \chi ,i=1,2,3...m$，$\mathbf{K}(\cdot ,\cdot )$是正定核函数，当且仅当$\mathbf{K}(x_i,x_j)$对应的Gram矩阵$\mathbf{K}=[K(x_i,x_j)]$为半正定矩阵。

常用核函数如下

径向基函数核（RBF,Radial basis Function）又称高斯核。