【机器学习】支持向量机（4）——非线性支持向量机（核函数）

前言

当训练数据集线性可分或者近似线性可分时，前面我们在文一以及文二已经介绍了线性可分支持向量机和线性支持向量机。但是有时训练数据集是非线性的，这时就可以使用非线性支持向量机。

非线性支持向量机的主要特点就是利用了核技巧。

非线性分类问题

如上面左图，是一个分类问题，图中实心点为正类，空心点为负类；我们很容易看出，无法用直线（线性模型）将正负实例正确分开，但是可以通过椭圆曲线（非线性模型）将它们正确分开。

非线性问题往往不好求解，所以我们希望用线性分类问题的方法来解决这个问题。所采用的方法是进行非线性变换。

线性分类方法求解非线性分类问题一般分为两步：

• 使用一个变换将原空间的数据映射到新空间；
• 在新空间里使用信线性分类学习方法从训练数据中学习分类模型。

核技巧

核技巧就是属于上诉介绍的方法，应用到支持向量机的基本思想就是通过一个非线性变换将输入空间对应于一个特征空间，使得在输入空间中的超曲面模型对应于特征空间中的超平面模型。

这样，分类问题的学习任务通过在特征空间中求解线性支持向量机就可以完成。

核函数的定义

设 $\mathcal{X}$ 是输入空间，$\mathcal{H}$为特征空间，如果存在一个从$\mathcal{X}$ 到$\mathcal{H}$的映射：

$$\phi(x):\mathcal{X} \rightarrow \mathcal{H}$$
使得对所有 $x,z \in \mathcal{X},$函数 $K(x,z)$满足条件：
$$K(x,z) = \phi(x) \cdot \phi(z)$$
则称 $K(x,z)$为核函数， $\phi(x)$为映射函数，式中 $\phi(x) \cdot \phi(z)$为内积

核技巧的想法：在学习与预测中只定义核函数$K(x,z)$，而不显式地定义映射函数$\phi$；
因为通常计算$K(x,z)$比较容易，而通过$\phi(x)和\phi(z)$的内积来计算$K(x,z)$并不容易；
$\phi$是输入空间到特征空间的映射，特征空间$\mathcal{H}$往往是高维的，甚至是无穷维；
对于给定的核$K(x,z)$，特征空间$\mathcal{H}$和映射函数$\phi$的取法并不唯一。

在我们之前学习线性可分支持向量机和线性支持向量机时，无论是目标函数还是决策函数（分离超平面）都只涉及输入实例与实例之间的内积。在对偶问题的目标函数中的内积$x_i,x_j$，可以用核函数$K(x_i,x_j) = \phi(x_i) \cdot \phi(x_j)$来代替。此时对偶问题的目标函数成为：

$$W(\alpha)=\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N\alpha_i\alpha_jy_iy_jK(x_i,x_j)-\sum_{i=1}^N\alpha_i$$
分类决策函数变为：
$$f(x) = sign(\sum_{i=1}^{N_s}\alpha_i^*y_iK(x_i,x)+b^*)$$

这就等价于：
经过映射函数$\phi$将原来的输入空间变换到一个新的特征空间，将输入空间中的内积$x_i \cdot x_j$变换为特征空间中的内积 $\phi(x_i) \cdot \phi(x_j)$，在新的特征空间里，从训练样本中学习线性支持向量机，当映射函数是非线性函数时，学习到的含有核函数的支持向量机是非线性模型。

在核函数$K(x,z)$给定的条件下，可以利用求解线性分类问题的方法求解非线性分类问题的支持向量机。学习是隐式地在特征空间进行，不需要显式地定义特征空间和映射函数，这样的技巧称为核技巧。

非线性支持向量机学习算法

输入：训练数据集
$T = \{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$，其中$x_i \in \mathcal{X} = R^n，y_i \in \mathcal{Y} = \{-1,+1\}，i = 1,2,...,N$；

输出：分类决策函数。

（1）选取适当的核函数$K(x,z)$和适当的参数$C$，构造并求解最优化问题：

$$\min_\alpha \quad \frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N\alpha_i\alpha_jy_iy_jK(x_i,x_j)-\sum_{i=1}^N\alpha_i \\ s.t. \quad \sum_{i=1}^N\alpha_iy_i = 0 \\ 0 \leqslant \alpha_i \leqslant C，i=1,2,...,N$$
求得最优解$\alpha^* = (\alpha_1^*,\alpha_2^*,...,\alpha_N^*)^T$。

（2）选择$\alpha^*$的一个正分量$0 < \alpha_j < C$，计算：

$$b^* = y_j - \sum_{i=1}^N\alpha_i^*y_iK(x_i,x_j)$$

（3）构造决策函数：

$$f(x) = sign(\sum_{i=1}^N\alpha_i^*y_iK(x,x_i)+b^*)$$

当$K(x,z)$是正定核函数时，该问题为凸二次规划问题，解是存在的。

常用核函数

名称	表达式	参数
线性核	$k(x_i,x_j) = x_i^Tx_j$
多项式核	$k(x_i,x_j) = (x_i^Tx_j)^p$	$p \geqslant 1$为多项式的次数
高斯核	$k(x_i,x_j) = exp(-\frac{||x_i-x_j||^2}{2\sigma^2})$	$\sigma \geqslant 1$为高斯核的带宽
拉普拉斯核	$k(x_i,x_j) = exp(-\frac{||x_i-x_j||}{\sigma})$	$\sigma > 0$
Sigmoid核	$k(x_i,x_j)=tanh(\beta x_i^Tx_j + \theta)$	$tanh$为双曲正切函数，$\beta > 0，\theta < 0$

至此，我们以及介绍了支持向量机的线性可分支持向量机、线性支持向量机以及非线性支持向量机。
支持向量机的学习问题可以形式化为求解凸二次规划问题。
对于求解凸二次规划问题，下篇我们将介绍序列最小最优化算法(SMO)。