【机器学习系列】之SVM核函数和SMO算法

作者：張張張張
github地址：https://github.com/zhanghekai
【转载请注明出处，谢谢！】

【机器学习系列】之SVM硬间隔和软间隔
【机器学习系列】之SVM核函数和SMO算法
【机器学习系列】之支持向量回归SVR
【机器学习系列】之sklearn实现SVM代码

一、SVM核函数

SVM基本型假设的是训练样本是线性可分的，即存在一个划分超平面能将训练样本正确分类。然而在现实任务中，原始样本空间内也许并不存在一个能正确划分两类样本的超平面，如下图所示的“异或”问题就不是线性可分的。

对于这样的问题，可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。如果原始空间是有限维，即特征数有限，那么一定存在一个高维特征空间使样本可分。

1.核函数的介绍

定义一个低维特征空间到高维特征空间的映射$\varphi$，令$\varphi (x)$表示将$x$映射后的特征向量，将所有特征映射到一个更高的维度，让数据线性可分。此时，SVM的优化目标函数变成：
$$\begin{gathered} \underset{\alpha }{\underbrace{min}}\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi (x_i{)}^T\varphi (x_j)-\sum _{i=1}^m{\alpha }_i \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C \end{gathered}$$

由此可见，和线性可分SVM的优化目标函数的区别仅仅是将内积$x_i^T{x}_j$替换为$\varphi (x_i{)}^T\varphi (x_j)$。
若低维特征过多，映射到高维的维度特征是程几何暴增的，解决低维特征过多的问题，于是就引出了“核函数”。

“核函数”的定义： 假设$\chi$为低维输入空间，$\kappa (\cdot ,\cdot )$是定义在$\chi \times \chi$上的对称函数，则$\kappa$是核函数的充要条件是当且仅当对于任意数据 D = { x 1 , x 2 , ⋯   , x m } D=\{x_1,x_2,\cdots,x_m\} D={ x1​,x2​,⋯,xm​}，“核矩阵（kernel matrix）”$k$ 总是半正定的：
其中：$$\kappa (x_i,x_j)=\varphi (x_i{)}^T\varphi (x_j)$$
那么我们就称$\kappa (x_i,x_j)$为核函数。上述定义表明：只要一个对称函数所对应的核矩阵半正定，它就能作为核函数使用。$\kappa (x_i,x_j)$的计算是在低维特征空间来计算的，它避免了在高维空间计算内积的恐怖计算量。

线性不可分核函数的引入过程： 我们遇到线性不可分的样例时，常用做法是把样例特征映射到高维空间中去，但是遇到线性不可分的样例，若一律映射到高维空间，那么这个维度大小是会高到令人恐怖的。此时，核函数就体现出它的价值了，核函数的价值在于它虽然也是将特征进行从低维到高维的转换，核函数是在低维空间上进行计算，而将实质上的分类效果（利用内积）表现在了高维上，这样避免了直接在高维空间中的复杂计算，真正解决了SVM线性不可分的问题。

2.几种常用的核函数

此外，核函数还可以通过函数组合得到：

• 若${\kappa }_1$和${\kappa }_2$为核函数，则对于任意正数${\gamma }_1、{\gamma }_2$，其线性组合
  $${\gamma }_1{\kappa }_1+{\gamma }_2{\kappa }_2$$
  也是核函数。
• 若${\kappa }_1$和${\kappa }_2$为核函数，则核函数的直积
  $${\kappa }_1⨂{\kappa }_2(x,z)={\kappa }_1(x,z){\kappa }_2(x,z)$$
  也是核函数。
• 若${\kappa }_1$为核函数，则对于任意函数$g(x)$，
  $$\kappa (x,z)=g(x){\kappa }_1(x,z)g(z)$$
  也是核函数。

3.分类SVM算法流程

引入核函数后，SVM算法才算是比较完整了，现在对分类SVM的算法过程做一个总结，不再区分是否线性可分。

二、SMO算法

首先回顾下SVM的优化目标函数，SMO算法要求解如下凸二次规划的对偶问题：
$$\begin{gathered} \underset{\alpha }{\underbrace{min}}\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa (x_i,x_j)-\sum _{i=1}^m{\alpha }_i \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C \end{gathered}$$

其应满足如下KKT条件：

$$\{\begin{array}{l}{\alpha }_i\ge 0,{\mu }_i\ge 0,\\ y_i(w^T{x}_i+b)-1+{\xi }_i\ge 0,\\ {\alpha }_i(y_i(w^T{x}_i+b)-1+{\xi }_i)=0\\ {\xi }_i\ge 0,{\mu }_i{\xi }_i=0\end{array}$$

SMO是一种启发式算法，其基本思路是： 它每次只优化两个变量，将其它的变量都视为常数。由于${\sum }_{i=1}^m{\alpha }_i{y}_i=0$，假如将${\alpha }_3，{\alpha }_4，\cdots ，{\alpha }_m$固定，那么${\alpha }_1、{\alpha }_2$之间的关系也确定了，这样SMO算法将一个复杂的优化算法转化为一个比较简单的两变量优化问题，这样目标优化函数变为：
m i n ⎵ α 1 , α 2    1 2 κ 11 α 1 2 + 1 2 κ 22 α 2 2 + y 1 y 2 κ 12 α 1 α 2 − ( α 1 + α 2 ) + y 1 α 1 ∑ i = 3 m y i α i κ i 1 + y 2 α 2 ∑ i = 3 m y i α i κ i 2 ( 1 ) s . t . α 1 y 1 + α 2 y 2 = − ∑ i = 3 m y i α i 0 ≤ α i ≤ C i = 1 , 2 \underbrace{min}_{\alpha_1,\alpha_2}\;\frac{1}{2}\kappa_{11}\alpha_1^2+\frac{1}{2}\kappa_{22}\alpha_2^2+y_1y_2\kappa_{12}\alpha_1\alpha_2-(\alpha_1+\alpha_2)+y_1\alpha_1\sum_{i=3}^{m}y_i\alpha_i\kappa_{i1}+y_2\alpha_2\sum_{i=3}^{m}y_i\alpha_i\kappa_{i2}\qquad\qquad(1)\\ s.t.\quad \alpha_1y_1+\alpha_2y_2=-\sum_{i=3}^{m}y_i\alpha_i\\ 0\leq\alpha_i\leq C\quad i=1,2 α1​,α2​ min​​21​κ11​α12​+21​κ22​α22​+y1​y