【机器学习算法】支持向量机入门教程及相关数学推导

经典线性二分类算法:支持向量机(SVM)

可以毫不夸张的说，在深度学习算法尚未崛起之前，SVM一度是最受欢迎的机器学习算法之一。由于其优异的泛化性能以及鲁棒的应用场景，使其在学术界甚至工业界都有着十分广泛的应用。如果你翻看大约十年前的相关论文，就会发现SVM以及一些SVM的变体都是实验数据中不可缺少的Baseline和benchmark。以至于在CNN崛起之后，SVM算法推理过程的相对高效以及可解释性使得一些基于CNN的深度学习模型仍然使用SVM分类器执行流程中的特定任务，其中比较有名的要数目标检测算法RCNN(2014),使用SVM对CNN输出的ROI features进行分类：

当然，SVM在发展的过程中也衍生出了许许多多的改进以及变体，比如用于回归的SVR，用于文本分类的NBSVM，基于最小二乘的LSSVM，以及扩展到非线性分类的基于核函数的SVM等等。其中的原理和分类方法同经典的SVM大同小异。然而，SVM背后的分类原理以及涉及的数学优化方法仍然会使得一些刚接触SVM算法的新手(包括我)望而却步。因此在本篇博客中，我将会基于最原始的SVM分类器，加上自己的一些理解，对算法原理进行一个详细的介绍。

1. SVM进行二分类的基本思想

想到线性二分类算法，相信大家脑海中不自觉的就会产生这样一个画面，画面上是两堆属于不同类别的点，有一条直线恰好能把这两堆点分开来。在直线之上的这些点大于0，直线之下的点堆小于0。现在新来一个点，算法通过判断这个点代入直线方程即判断其属于直线的上方还是下方，进而预测这个点所属类别。

从感知机的缺陷引出SVM

一个经典的机器学习算法：感知机(perceptron)，就是基于上述的分类原理，其中的直线就是算法通过最优化方法学习出的决策边界。我们今天的主角SVM也不例外，不过我们仍然可以横向对比一下，SVM和感知机算法的差异。

考虑以下三种决策边界：

如上图所示，如果说哪条直线对于图中点的分类效果最好，其实是无法进行比较的，因为三条线都能100%将图中不同类别的点完美的区分开来。在感知机看来，上面三种决策边界都是算法的最优解。（因此感知机算法的往往有无穷多解）

感知机的损失函数期望分类错误的所有样本到决策边界的距离之和最小，只和分类错误的样本有关（如果一条样本分类正确，那么它的损失函数为0)。如果z代表分类错误的样本，决策边界是wx+b=0，最小化感知机损失函数就是(基于点到超平面的距离公式)：
$$\begin{gathered} argmi{n}_{(W,b)}\sum _{i=1}^m(\frac{\left|W^t{z}_i+b\right|}{\Vert W{\Vert }_2}) \\ 等价于: \\ argmi{n}_{(W,b)}(\left|W^{T}Z+b\right|) \end{gathered}$$
但如果此时新来了几个测试数据，三种决策边界的好坏便能很明显的体现出来：

很明显，如果依据前两条决策边界分类新来的样本点，就会产生错误(这实则就是过拟合)，而第三条决策边界对于新来的样本点是鲁棒的。所以我们就可以下结论说第三条直线的分类效果最好，因为它对于测试数据的泛化能力强。但是，如何量化的衡量决策边界的泛化性能呢？光凭后知后觉的直观感受可不行，我们需要算法仅在训练数据上就能尽量学到第三种决策边界。

最大化分类间隔：SVM提高泛化性的insight

SVM算法在基于感知机决策方法的基础上，敏锐的察觉到了这一点。**如何度量一条决策边界的泛化能力，一个简洁且可行的方法是：对于训练数据中距离决策边界最近的那些点，我们希望它们离决策边界越远越好。**因此在损失函数中应该包含支持向量距离最大化的优化项。如下图所示：

那些离决策边界最近的样本点，我们也称作支持向量(Support Vector)，这便是SVM名字的由来。

相应的，优化函数就是：
$$\begin{array}{rl}& argma{x}_{(W,b)}[(margin(W,b))]\\ 其中:& \\ & \mathrm{margin}(W,b)=\underset{i=1,2\dots .N}{\min }\frac{1}{\Vert W{\Vert }_2}\cdot \left|W^T\cdot X_i+b\right|\end{array}$$
其中的xi就表示离分类超平面(决策边界)最近的那些点(支持向量)。

SVM的数学本质:带不等式约束的最优化问题

然而，光优化支持向量的距离而不考虑样本是否分类正确也是不行的，因此，我们还需添加决策边界能够保证所有样本点分类正确的约束条件：
$$\{\begin{array}{ll}{\mathbf{W}}^{\mathrm{T}}{\mathbf{X}}_i+b>0,& y_i=类别1\\ {\mathbf{W}}^{\mathrm{T}}{\mathbf{X}}_i+b<0,& y_i=类别2\end{array}$$
一个小trick是，我们将在决策边界上方的数据的标签人为的设置为1，将决策边界下方的标签设置为-1，这样一来，约束条件就可以合并为：
$$y_i(W^T{X}_i+b)>0$$
这样一来，完整的带约束条件的优化函数就是：
$$\begin{array}{rl}& {\mathrm{argmax}}_{(W,b)}(\underset{i=1,2\dots .N}{\min }\frac{1}{\Vert W{\Vert }_2}\cdot \left|W^T\cdot X_i+b\right|)\\ & s.t.\\ & y^T(W^{T}X+b)>0\end{array}$$
用图示来直观理解：

化繁为简：化简优化函数的一些tricks

事实上，上面给出的优化问题仍然十分复杂，难以处理。就比如计算支持向量的最大间隔，每优化一步，算法还需要重新寻找支持向量，十分的不方便。

因此我们仍然需要对原始的优化函数做一个简化操作，这里又会用到一些小技巧:

对于支持向量而言，它们到决策边界的距离一定是一致的且是所有数据中最小的。并且我们知道，对于参数(W,b)的放缩并不会影响最终决策边界的位置，因此我们假设支持向量代入分类超平面得到的值(函数距离)为ξ：
$$\begin{array}{rl}& \underset{i=1,2\dots .N}{\min }\left|W^T\cdot X_i+b\right|=\xi \\ s.t.& \\ & y_i^T(W^T{X}_i+b)⩾\xi ;i=1,2,3,...,m\end{array}$$
两边同时除以ξ，就是：
$$\begin{array}{rl}& \underset{i=1,2\dots .N}{\min }\left|\frac{W^T}{\xi }\cdot X_i+\frac{b}{\xi }\right|=1\\ & s.t.\\ & y_i(\frac{W^T}{\xi }{X}_i+\frac{b}{\xi })⩾1\\ & 由于W和b都是优化问题的变量，相当于将原始W和b替换为\frac{W}{\xi }，\frac{b}{\xi }，对于原优化函数不会造成任何影响。\end{array}$$
因此对于支持向量距离最大化的优化问题就转化为这一简洁的形式：
$${\mathrm{argmax}}_{(W)}(\frac{1}{\Vert W{\Vert }_2})$$

此时取倒数可以将最大化转为最小化：
$${\mathrm{argmin}}_{(W)}(\Vert W{\Vert }_2)$$
在对优化问题作了适当变形后，优化问题就转化成：
$$\begin{array}{rl}& \min (\Vert W{\Vert }_2)\\ & s.t.\\ & y_i^T(W^T{X}_i+b)⩾1;i=1,2,3,...,m\end{array}$$
(来自博主的虾bb：事实上，我曾想过把最大化支持向量到超平面的距离转化为最大化所有数据到超平面的距离(两者是等价的)，这虽然也可以解决每迭代一次就寻找一次支持向量的繁琐，但由于每个点到超平面的距离都是不一样的(不能一股脑的全规定函数距离为1)，因此这个问题反而也不好简化，反而是简化后的公式只计算支持向量能大大减小计算量。这大概也是为什么SVM只关注支持向量的缘由吧（只能说那些机器学习大佬们在这些问题上的数学认知的确比一般人来的深刻)

练手

好了，既然我们已经初步懂得了SVM算法的分类原理以及它的优化函数，我们就来举个超级无敌简单的例子练练手😂😴😴：

给定数据和标签，计算决策边界：

求解过程直接写纸上了：

然而，在普遍情况下，求解这个优化问题远不止上面这个例子这么简单。这是因为现实中数据量以及数据的维度往往都很大。在高维空间中我们无法通过画图辅助求解(图上的圆和约束空间的交点是一眼看出来的)。并且一般的带约束优化问题无法直接通过梯度下降等迭代方法求解。

一种方法是，我们可以通过调用现有的凸二次规划软件包来求解上式所描述的优化问题。但是这无可避免的计算效率较低。这时候就需要一个强大的数学工具：**拉格朗日函数，对原始的带约束的优化问题转化为无约束的函数优化问题。**这样一来，求解原函数极值的问题就转化为求拉格朗日函数的极值问题。可以说，构造拉格朗日函数是求解带约束优化问题的重要方法。

温馨提示，接下来要开始硬核了🧠🧠

2. 将SVM优化函数进行转化

2.1 转化为拉格朗日函数

带约束条件的优化问题，如果满足以下形式，我们就可以使用拉格朗日函数进行转化：
$$\begin{array}{rl}& \underset{x\in {\mathbb{R}}^n}{\min }f(x)\\ & \text{ s.t. }\\ & c_i(x)⩽0,i=1,2,\cdots ,k\\ & h_j(x)=0,j=1,2,\cdots ,l\end{array}$$
转化为拉格朗日函数就是：
$$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)$$
其中的α和β属于引入的拉格朗日乘数。

那么拉格朗日函数是如何求得原问题的最小值呢，我们可以通过几个例子来直观的理解下(为了方便可视化，以下的例子均使用二元函数，特此说明)：

2.1.1假设优化问题的约束条件只有一个等式约束：

【我们都可以将等式约束转化为g()=0的形式讨论】
$$\begin{array}{rl}& \underset{\in {\mathbb{R}}^n}{\min }f(x,y)\\ & \text{ s.t. }g(x,y)-c=0\end{array}$$

构建拉格朗日函数求解就是：
$$\begin{array}{c}L(x,y,\lambda )=f(x,y)+\lambda (g(x,y))\\ \downarrow \\ \nabla L(x,y,\lambda )=0\\ \Downarrow \\ \nabla f(x,y)=-\lambda (\nabla g(x,y))\\ \Downarrow \\ \{\begin{array}{l}\frac{\partial f(x,y)}{\partial x}+\lambda \frac{\partial (g(x,y))}{\partial x}=0①\\ \frac{\partial f(x,y)}{\partial y}+\lambda \frac{\partial (g(x,y))}{\partial y}=0②\\ \frac{\partial L(x,y,\lambda )}{\partial \lambda }=g(x,y)=0③\end{array}\end{array}$$

图中，蓝色一圈一圈的圆圈表示f(x,y)的等高线，绿色的曲线表示约束条件g(x,y)=c，那么图中约束条件下取得的f(x,y)的最小值必然是f(x,y)的等高线与g(x,y)的等高线相切的位置 (即联立①和②求解，可以约去λ得到一个关于x，y的方程(忽略g()=c时的最优解是一个点集))。然后通过③，我们可以得到方程的约束(和c有关，确定点集中的一个点)，联立①②③就可以得到最优解。

【红字的描述仅在优化问题是凸优化的前提下成立，对于SVM而言它的优化问题就是凸函数，因此这里我们不考虑非凸优化的情况】（下面展示一种非凸优化的情况，此时求解拉格朗日函数梯度为0不一定是最值）

换句话说，就是寻找(x0,y0)使得λg(x0,y0)的梯度与f(x0,y0)的梯度反向。因此，求解拉格朗日函数的梯度就是相当于寻找它们相切的地方(梯度在一条直线上)，然后用拉格朗日乘数λ作为g(x0,y0)的梯度的系数保证与f(x0,y0)的梯度等大反向，因此它们相加才会等于0(因此对于等式约束而言这里的λ必须不等于0):

2.1.2 假设优化问题的约束条件是不等式约束：

【我们都可以将不等式约束转化为g()<=0的形式讨论】
$$\begin{array}{rl}& \underset{\in {\mathbb{R}}^n}{\min }f(x,y)\\ & \text{ s.t. }g(x,y)⩽0\end{array}$$
当约束条件是不等式的时候，存在不等式约束时的位置只有两种情况，一种是最优解在不等式约束的边界上，另一种就是在不等式约束的区域内，需要分为两种情况讨论。

1.当最优解在g(x)<0的区域内时，约束条件不起作用，直接按常规方法求min(f(x))即可，即求解f(x)梯度为0的点。这等价于将拉格朗日乘子λ置为0，再对拉格朗日函数L(x,λ)求极值。

2.最优解在g(x)=0这个边界上，问题和等式约束等价，此时最优解在两条曲线的相切处。不过这里需要注意的是，最优解在g(x)=0边界上说明切线处的f()与g()的梯度必然是反向的，此时为了保证【λ作为g()的梯度的系数使其与f()的梯度等大反向】，此时的λ就必然大于0。

综上，不等式约束就满足λ>=0。或者说λg()=0

2.1.3 假设优化问题的约束条件是若干不等式约束：

$$\begin{array}{c}minf(x,y)\\ s.t.g_i(x,y)⩽0,其中i=1，2，3，...，m\\ \\ L(\mathbf{x},\mathbf{y},\lambda )=f(\mathbf{x},\mathbf{y})+\sum {\lambda }_i{g}_i(\mathbf{x},\mathbf{y})\\ \nabla \\ \nabla L(\mathbf{x},\mathbf{y},\lambda )=0\\ \Downarrow \\ -\nabla f(\mathbf{x},\mathbf{y})=\sum {\lambda }_i\cdot \nabla g_i(\mathbf{x},\mathbf{y})\end{array}$$

此时我们可以用下面这张图直观的理解：

同样的，图中的圈圈表示原优化函数f(x)的等高线，橙色的区域表示若干约束条件构成的区域。此时对于边界在红线上的g(x,y)而言，它们小于0的区域囊括了f(x,y)的极值点，因此不构成约束，此时通过拉格朗日函数求解得它们的λ必然是等于0的。而对于边界在蓝线上的g(x,y)而言，它们小于0的区域不包括f(x,y)的极值点，因此对f(x,y)构成约束，此时它们的λ必然是>0的。此时在极值点处将两条蓝线的梯度通过它们各自的λ进行一个合成，就必然能够和极值点处f(x,y)的梯度等大反向，即仍然体现求解拉格朗日函数的梯度为0。

现在，我们在来重新审视一下SVM的优化函数，可能就会有更深的理解。

将SVM的优化问题写成拉格朗日函数的形式，其实就是一个带若干不等式约束的优化问题：
$$\begin{array}{rl}& \min (\Vert W{\Vert }_2)\\ & \text{ s.t. }1-Y^{(i)}\left(W^T\cdot X^{(i)}+b\right)\le 0i=1,2,3\dots ,m\\ & L(W,b,\lambda )=W^{T}W+\sum _{i=1}^N{\lambda }_i\left(1-Y^{(i)}\left(W^T\cdot X^{(i)}+b\right)\right)\end{array}$$
对于那些不是支持向量的点构成的约束，它们的（1-yi(wTxi+b)）一定是<0的，由于λg()=0，说明这些点不构成约束，它们的λ=0.

而对于那些支持向量而言，它们的（1-yi(wTxi+b)）一定是=0的，因此它们的λ一定>0，这些点对最小化||W||2构成约束。

这也便说明了，SVM的决策边界只会受到支持向量的约束，而与非支持向量无关：

2.2 将原问题转化为对偶问题

$$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)$$

对于上面的拉格朗日函数，它有一个性质，我们先将变量x视为常数，然后令：
$${\theta }_p(x)=maxL(x,\alpha ,\beta )$$
这时候，求解拉格朗日函数的极小值和求解θ函数的极小值是等价的：
$$min{\theta }_p(x)=\underset{\mathbf{x}}{\min }\underset{\mathbf{\alpha },\mathbf{\beta }}{\max }L(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })$$
即，将求解拉格朗日函数转化为极大极小求解问题：
$$\underset{\mathbf{x}}{\min }\underset{\mathbf{\alpha },\mathbf{\beta }}{\max }L(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })s.t.\alpha \ge 0$$

我们把求解这个形式叫做原问题，转化为极大极小形式的原问题和求解拉格朗日函数的优化问题是等价的，证明如下：
$$\begin{array}{rl}& \underset{x}{\min }\underset{\alpha ,\beta }{\max }\mathcal{L}(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })\\ =& \underset{\mathbf{x}}{\min }\left(f(\mathbf{x})+\underset{\alpha ,\mathbf{\beta }}{\max }\left(\sum _{i=1}^m{\alpha }_i{g}_i(\mathbf{x})+\sum _{j=1}^n{\beta }_j{h}_j(\mathbf{x})\right)\right)\\ =& \underset{\mathbf{x}}{\min }(f(\mathbf{x})+\left\{\begin{array}{ll}0& \text{ 若 }\mathbf{u}\text{ 满足约束 };)\\ \infty & \text{ 否则 }\end{array}\right)\\ =& \underset{\mathbf{x}}{\min }f(\mathbf{x}),\text{ 且 }\mathbf{x}\text{ 满足约束, }\end{array}$$
可见，求解极大极小问题最终可以转化为求解原始带约束最优化问题。而之所以要这么做(motivation)，是为了方便接下来引入对偶问题。

对于原问题的对偶问题：
$$\underset{\lambda ,\mathbf{v}}{\max }\underset{\mathbf{x}}{\min }L(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })s.t.\alpha \ge 0$$
对于为什么要转换成对偶问题求解，由于博主本人对问题的理解不够深刻，也无法自己立刻总结出一个令自己信服的理由。所以我直接总结网上的结论，大致是，求解对偶问题能够简化计算量，降低求解原问题的复杂度。

当然，原问题的解和对偶问题的解并不是完全等价的，因为对偶问题是原问题的一个下界。一般情况下，原问题的解要大于等于对偶问题的解(弱对偶关系)。凸优化理论中，一个原问题的解如果要等于对偶问题的解(强对偶关系)，需要满足KKT条件

（KKT条件是原问题与对偶问题等价的必要条件，当原问题是凸优化问题时，变为充要条件）

当然，SVM的优化问题的原问题与对偶问题是是一个强对偶关系，能这么说，是因为它的优化问题既是一个凸优化问题，也满足KKT条件。

SVM的优化函数是凸优化问题：
$$\begin{array}{rl}& \min (\Vert W{\Vert }_2)\\ & \text{ s.t. }1-Y^{(i)}\left(W^T\cdot X^{(i)}+b\right)\le 0i=1,2,3\dots ,m\end{array}$$
SVM的优化目标函数是一个二次项，限制条件是一次项，这在优化理论中是一个二次规划问题，数学上已经证明，二次规划问题是一个凸优化问题。

SVM的优化函数满足KKT条件：

对于优化函数：
$$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)$$
满足:
c i ( x ) ≤ 0 h j ( x ) = 0 ∇ x L ( x , α , β ) = 0 λ ≥ 0 α i c i ( x ) = 0 \begin{aligned} &c_{i}(x) \leq 0 \\ &h_{j}(x)=0 \\ &\nabla_{x} L(x, \alpha, \beta)=0 \\ &\lambda \geq 0 \\ &\alpha_{i} c_{i}(x)=0 \end{aligned} ​ci​(x)≤0hj​(x)=0∇x​L(x,α,β)=0λ≥0αi​ci​(x)=0​
对于SVM的优化函数，它是一个只带不等式约束的拉格朗日函数:
$$\begin{array}{rl}& L(W,b,\lambda )=W^{T}W+\sum _{i=1}^N{\lambda }_i\left(1-Y^{(i)}\left(W^T\cdot X^{(i)}+b\right)\right),i=1,2,3,...,m\end{array}$$
因此我们无需考虑KKT条件中的h(x)=0的条件，对于条件L()的梯度为0，这正是最优解所在的地方。而剩下的三个条件，我们其实已经在2.1.2中通过图示进行了一个直观上的理解，只要能够满足拉格朗日函数的条件转化为拉格朗日函数，就必然会满足这三个条件。

这样一来，我们就在理论上证明了SVM优化问题的对偶问题的解等价于原问题的解，进而将原问题转化为了求解对偶问题。

2.3 推出SVM优化函数的对偶问题

好的😴😴，既然说将原问题转化为对偶问题进行求解是更为高效的做法，我们将SVM原问题转化为它的对偶问题，就是：
$$\begin{array}{rl}& \underset{\alpha }{\max }\underset{\mathbf{w},\mathbf{b}}{\min }L(W,b,\alpha ),s.t.\alpha \ge 0\\ & =\underset{\alpha }{\max }\underset{\mathbf{w},\mathbf{b}}{\min }[W^{T}W+\sum _{i=1}^N{\alpha }_i\left(1-Y^{(i)}\left(W^T\cdot X^{(i)}+b\right)\right)],i=1,2,3,...,m\\ & s.t.\alpha \ge 0\end{array}$$
求解过程：

第一步，在内层，我们将α视为常数，求解w,b作为函数自变量下的极小值(求极小的常规方法，即令L(w,b,α)对w和b的偏导为0(凸函数一阶导就够了))，解得：
$$\mathbf{w}=\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i,\sum _{i=1}^m{\alpha }_i{y}_i=0$$
第二步，求解外层α的极大(由于第一步求解的极小值下的w和b的解的形式只包含了α这一个变量，因此可以将第一步求解的w和b回代回原式进行第二步的求解)(乘上一个系数1/2,不影响解的值)

哈哈，化简过程略！(放心，一定是正确的🤣)，最终形式就是(约束条件就是b的偏导数=0(在化简的时候约去了)，以及KKT条件)：
$$\begin{array}{c}\underset{\alpha }{\max }(-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^m{\alpha }_i)\\ \text{ s.t. }\sum _{i=1}^m{\alpha }_i{y}_i=0\\ {\alpha }_i\ge 0i=1,2,\dots m\end{array}$$
然而，我们还是更习惯看到求极小的形式，这不简单，加个负号求极小不就行了：
$$\begin{array}{c}\underset{\alpha }{\min }(\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^m{\alpha }_i)\\ \text{ s.t. }\sum _{i=1}^m{\alpha }_i{y}_i=0\\ {\alpha }_i\ge 0i=1,2,\dots m\end{array}$$
👆这就是我们需要求解的SVM支持向量机优化函数的最终形式✔！！

然后如果我们仔细观察，就不难发现，将原始问题转化为对偶问题之后，我们待求解的参数就从n维(n是样本的特征数量)的W转化为求取m个α。这对于小样本学习而言是一个优势，那就是当样本的维度远大于样本的数量(n>>m)时，求解原问题的对偶问题能够大大降低训练模型的代价。

3. 软间隔SVM

基于之前我们介绍的SVM仍然有一个很大的局限性，先不说是啥，我们先再来回顾下SVM优化函数最初的形式：
$$\begin{array}{rl}& {\mathrm{argmax}}_{(W,b)}(\underset{i=1,2\dots .N}{\min }\frac{1}{\Vert W{\Vert }_2}\cdot \left|W^T\cdot X_i+b\right|)\\ & s.t.\\ & y^T(W^{T}X+b)>0\end{array}$$
其中的约束条件y(wx+b)>0即对所有点都分类正确进行一个约束，然而在很多情况下，如果数据集线性不可分，就意味着我们永远无法从中找到一个满足条件的分类超平面，对于优化问题而言，就是任何的参数w和b都无法满足约束条件。这样就会出现找不到解的情况。

我们分析下面一张图：

对于左图而言，很明显数据集不是线性可分的，一般的硬间隔SVM无法对这类数据分布进行求解。如果我们放宽模型的限制条件，允许某些点分类错误，这一问题就能够得到解决。

对于右图而言，我们假设右上角为噪声点。即便如此，该数据集仍然是线性可分的。但是模型将噪声点当做支持向量可能会影响模型的泛化能力(体现在黄色的margin很窄),假如我们放宽限制条件，使得模型容许一两个点出错，这样一来模型的泛化能力或许就会得到改善(绿色的margin比黄色的宽)

针对上述两个问题，接下来要介绍的软间隔SVM能够很好的解决。

软间隔SVM：松弛变量的引入，允许模型在一些样本上不满足约束

3.1 松弛变量的引入

即，对于原优化函数，我们放宽约束条件为：
$$y_i\left(w\cdot x_i+b\right)\ge 1-{\xi }_i$$
其中的ξ就是松弛变量，ξi>=0，可以表示异常点或分类错误的点嵌入间隔面的深度。

然而，参数ξ的选择仍然是一个令人头疼的问题。一个极端的例子是，如果ξi无穷大，这相当于没有了约束条件，相当于所有的w,b都是问题的解。

因此一个基本的思想是：我们要在能选出符合约束条件的最好的 w 和 b 的同时，让
嵌入间隔面的总深度越少越好。将松弛变量ξ也加入最优化的求解当中，就是：
$$\begin{array}{c}\min \frac{1}{2}\Vert w{\Vert }_2^2+C\sum _{i=1}^m{\xi }_i\\ \text{ s.t. }{y}_i\left(w^T{x}_i+b\right)\ge 1-{\xi }_i(i=1,2,\dots m)\\ {\xi }_i\ge 0(i=1,2,\dots m)\end{array}$$
其中的C是一个常数，用于把握松弛变量在全局损失中的重要程度。

3.2 如何确定松弛变量的值：损失函数的选择

然而这时候一些了解SVM算法的小伙伴可能就要站出来质疑了，咦? 我看到的松弛变量ξi明明是这样的呀：
$${\xi }_i={\ell }_{0/1}\left(y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)-1\right)$$
这样总的优化函数就是这样的呀：
$$\underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{\ell }_{0/1}\left(y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)-1\right)$$
并且有：
$${\ell }_{0/1}(z)=\{\begin{array}{ll}1,& \text{ if }z<0\\ 0,& \text{ otherwise }\end{array}$$
这样一来， 最小化松弛变量的意义不就是：“使得那些不满足约束条件的样本尽可能的少”吗。

哈哈，的确如此，，不过这个方法有一个致命的缺点，由于0/1函数非凸，不连续，这个劣迹斑斑的数学性质使得优化函数反而不好求解了。因此，历史上机器学习大咖们研究并总结了其他的损失函数作为0/1损失的近似：

其中最常用的就是hinge loss(合页损失)，现在想想，如果把损失函数替换为合页损失，那么最小化松弛变量不就可以理解为，对于那些分类错误的点离分类边界的函数距离越小越好？因此上述的说法也是成立的。

四种损失函数可视化就是：

可以发现，四种损失函数均是0/1损失的一个上界，且具有0/1损失所缺乏的数学性质。

接下来的优化函数转化思想和硬间隔类似，各位读者请握好扶手，系好安全带，我们一步到位🚀：

3.3 软间隔SVM优化问题的转化

首先构造拉格朗日函数：
$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}\Vert w{\Vert }_2^2+C\sum _{i=1}^m{\xi }_i-\sum _{i=1}^m{\alpha }_i\left[y_i\left(w^T{x}_i+b\right)-1+{\xi }_i\right]-\sum _{i=1}^m{\mu }_i{\xi }_i$$
其中ui>=0, αi>=0

然后定义原问题：
$$\underset{w,b,\xi }{\underbrace{\min }}\underset{{\alpha }_i\ge 0,{\mu }_i\ge 0}{\underbrace{\max }}L(w,b,\alpha ,\xi ,\mu )$$
它的对偶问题就是：
$$\underset{{\alpha }_i\ge 0,{\mu }_i\ge 0}{\underbrace{\max }}\underset{w,b,\xi }{\underbrace{\min }}L(w,b,\alpha ,\xi ,\mu )$$
对偶问题求解第一步，求极小。对w，b，ξ求一阶梯度为0：
$$\begin{array}{c}\frac{\partial L}{\partial w}=0\Rightarrow w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i\\ \frac{\partial L}{\partial b}=0\Rightarrow \sum _{i=1}^m{\alpha }_i{y}_i=0\\ \frac{\partial L}{\partial \xi }=0\Rightarrow C-{\alpha }_i-{\mu }_i=0\end{array}$$
对偶问题求解第二步，将第一步的结论带回拉格朗日函数，求极大。化简过程略，最终形式就是：
$$\begin{array}{c}\underset{\alpha }{\underbrace{\max }}\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\\ \text{ s.t. }\sum _{i=1}^m{\alpha }_i{y}_i=0\\ C-{\alpha }_i-{\mu }_i=0\\ {\alpha }_i\ge 0(i=1,2,\dots ,m)\\ {\mu }_i\ge 0(i=1,2,\dots ,m)\end{array}$$

由于目标函数中并没有出现 ui，可将约束条件的第 2，3，4 项合并，消去 ui，得到最终的待优化函数为：
$$\begin{array}{c}\underset{\alpha }{\underbrace{\min }}\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^m{\alpha }_i\\ \text{ s.t. }\sum _{i=1}^m{\alpha }_i{y}_i=0\\ 0\le {\alpha }_i\le C\end{array}$$
对比硬间隔的最终形式：
$$\begin{array}{c}\underset{\alpha }{\min }(\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^m{\alpha }_i)\\ \text{ s.t. }\sum _{i=1}^m{\alpha }_i{y}_i=0\\ {\alpha }_i\ge 0\end{array}$$
可以发现，最优化函数和硬间隔SVM是完全一致的，只是约束条件稍有不同。

(我这里有一个疑问，既然最终形式的微小差异只体现在约束条件αi<C上，并不包含ξi。并且C还是一个超参，那么对于松弛变量损失函数的选取还有何意义呢，这里先留个疑问。)

4.非线性SVM

对于如何处理数据集线性不可分的情况，一个方法就是利用软间隔SVM，然而，软间隔SVM仍然有它的局限性，那就是放宽约束条件，允许错误样本的出现。但是其分类超平面仍然是线性的，也就是说，软间隔SVM并没有解决数据集线性不可分的本质问题。

在数学领域中，这类问题很早就已经有解决方案了(数学永远是走在前面的)。一个常用的方法是，将原始数据集的维度升高，即增加样本某些特征，将样本从原始空间映射到一个更高维的特征空间，使得样本在该特征空间的超平面下线性可分。

举一个非常直观且经典的例子，对于二维下线性不可分的问题，我们可以将其映射到三维的某个函数上，使其线性可分：

幸运的是，数学上已经证明，若原始空间是有限维，那么一定存在一个高维的特征空间使样本线性可分，因此问题的关键只取决于如何寻找这个特征空间(映射函数)。

现在，我们考虑已经找到了这样一种映射方式φ(.)，使得样本φ(x)线性可分，显而易见的是，φ(x)一定比x高维。

我们再考虑最终的优化函数：
$$\begin{array}{c}\underset{\alpha }{\underbrace{\min }}\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^m{\alpha }_i\end{array}$$
求解过程涉及样本的部分仅有：
$$x_i^T{x}_j$$
因此，对于升维后的样本，这部分就是：
$$\varphi (x_i{)}^T\varphi (x_j)$$
真实情况下，特征空间的维度远不止从二维升三维，仅升一维就线性可分这么简单，更一般的情况是映射后的特征空间维度往往远大于原始空间，甚至可能是无穷维，这时候维度过大导致计算上式通常是十分困难的，为了避开这个障碍，不显式的构造映射关系，可以设想有这样一个函数：
$$\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=⟨\varphi \left({\mathbf{x}}_i\right),\varphi \left({\mathbf{x}}_j\right)⟩=\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi \left({\mathbf{x}}_j\right)$$
即xi和xj 在映射之后的特征空间的内积等于它们在原始样本空间中通过函数κ(.)计算的结果.有了这样的函数，我们就不必直接去计算高维甚至无穷维特征空间中的内积了。

很幸运的是，在数学领域中，的确存在这样一种函数κ(··),它就是核函数。在1992年，正是Vapnik等人利用该技术成功地将线性SVM推广到非线性SVM中。

【此时此刻，为什么要把优化问题转化为对偶问题的motivation之一也就显而易见了，正是因为xiTxj的特征映射正好可以用核函数来解决。对于数学见解要有多深刻的大佬才能get到这个思路，在下实在佩服】

贴一张Vapnik与Yann.Lecun的合照，膜拜一下：

SVM解决非线性问题的杀手锏：核函数的引入

我们知道核函数满足下面的性质：
$$\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi \left({\mathbf{x}}_j\right)$$
这里值得一提的是，引入核函数之后，向量的两两点积仍然是一个数值，因此不会影响优化函数的具体求解方式。

显然，通过上式可知，只要知道φ(x)的具体形式，就可以求解出κ(··)，然而，现实任务错综复杂，我们往往是不知道φ(x)的具体形式的，因此，这时候我们就需要解决两个问题：

1. 什么样的函数能作为核函数？
2. 如何判断在某个数据分布下应该要用哪种核函数？

对于问题1，可以用Mercer定理(充分非必要)解决：

Mercer定理的描述是：只要对称函数值所对应的核矩阵K半正定, 则该函数可作为核函数，K的表示如下：
$$\mathbf{K}=\left[\begin{array}{ccccc}\kappa \left({\mathbf{x}}_1,{\mathbf{x}}_1\right)& \cdots & \kappa \left({\mathbf{x}}_1,{\mathbf{x}}_j\right)& \cdots & \kappa \left({\mathbf{x}}_1,{\mathbf{x}}_m\right)\\ ⋮& \ddots & ⋮& \ddots & ⋮\\ \kappa \left({\mathbf{x}}_i,{\mathbf{x}}_1\right)& \cdots & \kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)& \cdots & \kappa \left({\mathbf{x}}_i,{\mathbf{x}}_m\right)\\ ⋮& \ddots & ⋮& \ddots & ⋮\\ \kappa \left({\mathbf{x}}_m,{\mathbf{x}}_1\right)& \cdots & \kappa \left({\mathbf{x}}_m,{\mathbf{x}}_j\right)& \cdots & \kappa \left({\mathbf{x}}_m,{\mathbf{x}}_m\right)\end{array}\right]$$
为了避免每次都去计算K是否半正定，直接给出一些常用的核函数：
$$\begin{array}{lll}\text{ 名称 }& \text{ 表达式 }& \text{ 参数 }\\ \text{ 线性核 }& \kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)={\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j& \\ \text{ 多项式核 }& \kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)={\left({\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j\right)}^d& d⩾1\text{ 为多项式的次数 }\\ \text{ 高斯核 }& \kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=\exp \left(-\frac{{\Vert {\mathbf{x}}_i-{\mathbf{x}}_j\Vert }^2}{2{\sigma }^2}\right)& \sigma >0\text{ 为高斯核的带宽 }(\text{ width }).\\ \text{ 拉普拉斯核 }& \kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=\exp \left(-\frac{\Vert {\mathbf{x}}_i-{\mathbf{x}}_j\Vert }{\sigma }\right)& \sigma >0\\ \text{ Sigmoid 核 }& \kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=\tanh \left(\beta {\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j+\theta \right)& \tanh \text{ 为双曲正切函数, }\beta >0,\theta <0\end{array}$$
然而，对于问题二，通常没有很好的解决方法，因此，在SVM当中，核函数的选择作为一个超参数就成了SVM的最大变数，如果选择不佳，则意味着将样本映射到了一个不恰当的高维空间，可能仍然是线性不可分的。

5. 如何求解？基于SMO迭代优化算法

首先我们再来回顾下我们要解决的问题👇：
$$\begin{array}{c}\underset{\bar{\alpha }}{\min }\Psi (\vec{\alpha })=\underset{\bar{\alpha }}{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{y}_i{y}_{j}K\left({\vec{x}}_i,{\vec{x}}_j\right){\alpha }_i{\alpha }_j-\sum _{i=1}^N{\alpha }_i\\ 0\le {\alpha }_i\le C,\forall i,\\ \sum _{i=1}^N{y}_i{\alpha }_i=0.\end{array}$$
假设数据集中共有N个样本，那么我们就需要求出N个α的值。在当时，有多种算法均能够求解上述优化问题，比基于经典的基于数值二次规划方法以及改进的Chunking和Osuna方法。但是复杂度均比较大。

本次博客介绍的算法基于Platt在1998提出的SMO(Sequential Minimal Optimization)序列最小化迭代优化算法：

【论文链接】Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines

序列最小化，顾名思义，就是基于每个序列都最小化的一种优化方法，而这个序列，就是指优化函数N个α变量的子序列。

总的来说，SMO大致包括以下两个求解步骤

1. 首先启发式的选取一对αi和αj，这里的启发式选择希望选取的αi和αj能使目标函数最大程度的接近其全局最优值。
2. 将目标函数仅对αi和αj进行优化，其他的α变量视为常数固定不变。

相信大家现在对SMO的优化细节仍抱有许多的疑问，不急，我们一步一步来。

5.1 将问题转化为求解一个二元函数

SMO的序列最小化思想类似于坐标上升的优化思路，即每次只选取一个坐标轴方向(一个变量)进行更新，更新路径类似于下图：

然而，由于SVM优化问题中包含有约束条件：
$$\sum _{i=1}^N{y}_i{\alpha }_i=0$$
假如这时候我们只选取一个αi进行更新，其他α视为常数固定。由于上述约束条件的限制，因此αi也被固定，因此只选取一个参数的方法不可取。

因此SMO算法每次选取两个参数进行优化固定其他N-2个参数，我们假设某个时刻选取的参数是α1和α2，这时候优化函数就可以改写成如下的形式：
$$\begin{array}{cc}& \Psi =\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2+y_1{\alpha }_1{v}_1+y_2{\alpha }_2{v}_2-{\alpha }_1-{\alpha }_2+{\Psi }_{\text{constant }},\\ 其中：& \\ & K_{ij}=K\left({\vec{x}}_i,{\vec{x}}_j\right),\\ & v_i=\sum _{j=3}^N{\alpha }_j{y}_{j}K\left(x_i,x_j\right),i=1,2\end{array}$$
这里，左半部分的
$$\underset{\bar{\alpha }}{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{y}_i{y}_{j}K\left({\vec{x}}_i,{\vec{x}}_j\right){\alpha }_i{\alpha }_j$$
改写成：
$$\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2+y_1{\alpha }_1{v}_1+y_2{\alpha }_2{v}_2$$
注意一个细节，之所以前面两项有1/2后面不乘1/2是因为这些项均是成对出现的。

右半部分的
$$-\sum _{i=1}^N{\alpha }_i$$
改写成：
$$-{\alpha }_1-{\alpha }_2+{\Psi }_{\text{constant }}$$

5.2 将二元函数转化为一元函数

针对上式，我们还可以利用约束条件和一些小技巧将其中一个变量转化为另一个变量的函数，进而将优化函数转化为一元函数：

首先有等式约束有：
$$\begin{array}{rl}& {\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^N{\alpha }_i{y}_i，令其为一常数\zeta \\ & \therefore {\alpha }_1{y}_1+{\alpha }_2{y}_2=\zeta \end{array}$$
用一个trick，两边同乘y1,由于y1^2 = 1，因此有：
$${\alpha }_1=\left(\zeta -y_2{\alpha }_2\right)y_1$$
回代到二元目标函数中，得到(常数项不影响解，因此省略)：
$$\begin{array}{c}\min \Psi \left({\alpha }_2\right)=\frac{1}{2}{K}_{11}{\left(\zeta -{\alpha }_2{y}_2\right)}^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_2{K}_{12}\left(\zeta -{\alpha }_2{y}_2\right){\alpha }_2-\left(\zeta -{\alpha }_2{y}_2\right)y_1-{\alpha }_2\\ +v_1\left(\zeta -{\alpha }_2{y}_2\right)+y_2{v}_2{\alpha }_2\end{array}$$
现在上式就是一个只包含α2的一元二次函数了。

5.3 求解一元函数的极值，求得α1，α2

上式的一元函数是一个凸函数，求极小值只需对α2求偏导得0：
$$\frac{\partial \Psi \left({\alpha }_2\right)}{\partial {\alpha }_2}=\left(K_{11}+K_{22}-2K_{12}\right){\alpha }_2-K_{11}\zeta y_2+K_{12}\zeta y_2+y_1{y}_2-1-v_1{y}_2+v_2{y}_2=0$$
然后我们就可以求得更新后的α2的解，由于α1可以表示成α2的函数，因此α1的解也可以求得。

这样一来，我们每一步迭代的目的就达到了，不就是更新α1和α2，这不就做完了嘛，具体的求解交给计算机解决就行了！

Platt：我认为这个形式不太直观，求解还是太繁琐，能不能再简化一下？

我：🤡

在论文中对上式进行了进一步的转化，使得更新后的α2能用更新前的α2表示，而不是不够直观的ζ

首先，我们先定义SVM对i个样本最终的预测值与标签之间的差值为：
$$E_i=f(x_i)-y_i$$
这里的函数f()就表示SVM基于的分类超平面模型：
$$f(x)=w^{T}x+b$$
将w表示成α参数的形式带入，就是：
$$f(x)=\sum _{i=1}^N{\alpha }_i{y}_{i}K\left(x_i,x\right)+b$$
我们发现vi中也有与f(x)相似的形式，因此，可以用函数f表示v1，v2：
$$\begin{array}{rl}& 由于v_i=\sum _{j=3}^N{\alpha }_j{y}_{j}K\left(x_i,x_j\right),i=1,2\text{, 因此 }\\ & v_1=f\left(x_1\right)-\sum _{j=1}^2{y}_j{\alpha }_j{K}_{1j}-b\\ & v_2=f\left(x_2\right)-\sum _{j=1}^2{y}_j{\alpha }_j{K}_{2j}-b\end{array}$$

$$将\zeta ={\alpha }_1^{\text{old }}{y}_1+{\alpha }_2^{\text{old }}{y}_2以及v1，v2转换后的形式带入梯度=0那个式子，就可以得到：$$

$$\begin{array}{rl}& \left(K_{11}+K_{22}-2K_{12}\right){\alpha }_2^{\text{new, unclipped }}=\left(K_{11}+K_{22}-2K_{12}\right){\alpha }_2^{\text{old }}\\ & +y_2\left[y_2-y_1+f\left(x_1\right)-f\left(x_2\right)\right]\end{array}$$
这里的unclipped表示尚未考虑α2是否满足约束0<=αi<=C。

将Ei代入上式，即可得到：
$${\alpha }_2^{\text{new },\text{ unclipped }}={\alpha }_2^{\text{old }}+\frac{y_2\left(E_1-E_2\right)}{K_{11}+K_{22}-2K_{12}}$$
令η=K11+K22-2K12,就得到如下十分美观的形式(这个形式有点像梯度下降里的更新步)
$${\alpha }_2^{\text{new },\text{ unclipped }}={\alpha }_2^{\text{old }}+\frac{y_2\left(E_1-E_2\right)}{\eta }$$

5.4 对原始的解添加约束

值得注意的是，我们求解出α2的解的形式此时还未考虑约束条件：

$$\begin{array}{rl}& {\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^N{\alpha }_i{y}_i=\zeta (1)\\ & 0\le {\alpha }_i\le C,i=1,2(2)\end{array}$$

首先考虑约束条件(2),(2)的约束在参数α1，α2构成的解空间里是一个矩形区域；

然后考虑约束(1)，约束(1)可以分为两种情况，一种是y1与y2同号,另一种是y1与y2异号，此时有：
$$\begin{array}{r}{\alpha }_1+{\alpha }_2=k,y1=y2\\ {\alpha }_1-{\alpha }_2=k,y1\ne y2\\ 其中k是常数，可正可负\end{array}$$
(1)的约束在参数α1，α2构成的解空间里是一条直线。

两个约束合并可以用下图进行可视化：

通过观察，可以总结出下面的规律：
$$\begin{array}{rl}& 令L\le {\alpha }_2^{\text{new }}\le H_i\\ & \text{ 当 }{y}_1\ne y_2\text{ 时， }L=\max \left(0,{\alpha }_2^{\text{old }}-{\alpha }_1^{\text{old }}\right);H=\min \left(C,C+{\alpha }_2^{\text{old }}-{\alpha }_1^{\text{old }}\right)\\ & \text{ 当 }{y}_1=y_2\text{ 时， }L=\max \left(0,{\alpha }_1^{\text{old }}+{\alpha }_2^{\text{old }}-C\right);H=\min \left(C,{\alpha }_2^{\text{old }}+{\alpha }_1^{\text{old }}\right)\end{array}$$
合并一下，就是：
$${\alpha }_2^{\text{new }}=\{\begin{array}{c}\mathrm{H},{\alpha }_2^{\text{new },\text{ unclipped }}>H\\ {\alpha }_2^{\text{new },\text{ unclipped }},L⩽{\alpha }_2^{\text{new,unclipped }}⩽H\\ \mathrm{L},{\alpha }_2^{\text{new },\text{ unclipped }}<L\end{array}$$
现在，我们解出的结果就是真正的α2的解了。

同时约束(1)又有如下性质，即无论更不更新，常数ζ是始终固定不变的：
$${\alpha }_1^{\text{old }}{y}_1+{\alpha }_2^{\text{old }}{y}_2=-\sum _{i=3}^N{\alpha }_i{y}_i={\alpha }_1^{\text{new }}{y}_1+{\alpha }_2^{\text{new }}{y}_2=\zeta$$
因此可求得更新后的α1:
$${\alpha }_1^{\text{new }}={\alpha }_1^{\text{old }}+y_1{y}_2\left({\alpha }_2^{\text{old }}-{\alpha }_2^{\text{new }}\right)$$
这样一来我们就解决了SMO如何优化αi和αj的问题。

5.5 每个迭代轮如何高效的选取i和j?，SMO的启发式选择

接下来我们回答最初的第一个问题，即SMO算法如何启发式的选取一对αi和αj。

首先，遍历外层的循环(寻找第一个变量i)，选择那些分类错误的点作为当前待优化的变量，怎么判断哪一些点是SVM分类错误的呢？一个思想是违背KKT条件最多的点。对于软间隔SVM，样本点满足KKT条件即约束就是：
$$\begin{array}{rl}{\alpha }_i=0& \Rightarrow y^{(i)}\left(w^T{x}^{(i)}+b\right)\ge 1\\ {\alpha }_i=C& \Rightarrow y^{(i)}\left(w^T{x}^{(i)}+b\right)\le 1\\ 0<{\alpha }_i<C& \Rightarrow y^{(i)}\left(w^T{x}^{(i)}+b\right)=1\end{array}$$
当拉格朗日乘子αi=0时，说明对应的样本不是支持向量，此时的yi(wxi+b)就>=1;

当αi=C时，说明该样本是模型所能够容忍的最大限度错误的样本，此时的yi(wxi+b)<=1;

当0<αi<C时，说明该样本是支持向量，此时yi(wxi+b)=1;

紧接着，确定了αi后，我们需要确定αj，SMO启发式选择的标准是：确定的αi能够使更新后的αj相较于更新前的αj的变化最大化。一个思想是，我们可以根据预测值与标签的差值Ei进行选取：
$$E_i=f(x_i)-y_i$$
根据最终的参数更新公式可知，αj是依赖于Ei-Ej的：
$${\alpha }_2^{\text{new },\text{ unclipped }}={\alpha }_2^{\text{old }}+\frac{y_2\left(E_1-E_2\right)}{\eta }$$
因此我们只需要选择最大的|Ei−Ej|来近似最大化步长。

5.6 参数b的计算

由于b 的值关系到 f(x)的计算，f(x)关系到下次优化时 Ei 的计算。因此每次更新一堆参数之后都要对b进行更新。

由于我们在求对偶问题的极小的过程中，对α求导时将参数b约去了，因此我们需要通过进一步的推导求得b关于α的函数关系。

我们可以根据软间隔SVM的KKT条件求解出α与b之间的关系：

第一种情况：
$$\begin{array}{rl}& 若{\alpha }_1^{new}满足0<{\alpha }_1^{new}<C，说明{\alpha }_1对应的样本是支持向量\\ & 将KKT条件y_1(w^T{x}_1+b)=1中的w转化为\alpha 的函数，就是\\ & \sum _{i=1}^N{\alpha }_i{y}_i{K}_{i1}+b=y_1\\ & 因此有：\\ & b_1^{\text{new }}=y_1-\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}-{\alpha }_1^{\text{new }}{y}_1{K}_{11}-{\alpha }_2^{\text{new }}{y}_2{K}_{21}\\ & 可以将前两项替换为E1与{\alpha }^{old}的表示形式:\\ & y_1-\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}=-E_1+{\alpha }_1^{\text{old }}{y}_1{K}_{11}+{\alpha }_2^{\text{old }}{y}_2{K}_{11}+b^{\text{old }}\\ & 最终形式就是:\\ & b_1^{\text{new }}=-E_1-y_1{K}_{11}\left({\alpha }_1^{\text{new }}-{\alpha }_1^{\text{old }}\right)-y_2{K}_{21}\left({\alpha }_2^{\text{new }}-{\alpha }_2^{\text{old }}\right)+b^{\text{old }}\end{array}$$
第二种情况：
$$\begin{array}{rl}& 若{\alpha }_2^{new}满足0<{\alpha }_2^{new}<C,说明{\alpha }_2对应的样本是支持向量\\ & 同第一种情况可得：\\ & b_2^{\text{new }}=-E_2-y_1{K}_{12}\left({\alpha }_1^{\text{new }}-{\alpha }_1^{\text{old }}\right)-y_2{K}_{22}\left({\alpha }_2^{\text{new }}-{\alpha }_2^{\text{old }}\right)+b^{\text{old }}\end{array}$$
第三种情况：
$$\begin{array}{rl}& 若同时满足0<{\alpha }_i^{new}<C，两者均为支持向量:\\ & 则b_1^{new}=b_2^{new}=上式\end{array}$$
第四种情况：
$$\begin{array}{rl}& 若同时不满足0<{\alpha }_i^{new}<C:说明{\alpha }_i与{\alpha }_j对应的样本均不是支持向量\\ & 则b_1^{new}与b_2^{new}以及他们之间的数都满足KKT条件，一个好的权衡是选择它们的中点\end{array}$$