监督学习 | SVM 之线性支持向量机原理

相关文章：

机器学习 | 目录

监督学习 | SVM 之非线性支持向量机原理

监督学习 | SVM 之支持向量机Sklearn实现

支持向量机

支持向量机（Support Vector Machines, SVM）：是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大化的线性分类器，间隔最大化使它有别于感知器；支持向量机还包括核技巧（通过非线性函数转换为线性模型），这使它成为实质上的非线性分类器。

支持向量机的学习策略就是间隔最大化，可以形式化为一个求解凸二次规划（convex quadratic programming）的问题，也等价于正则化的合页损失函数最小化问题，支持向量机的学习算法是求解凸二次规划的最优算法。^[1]

按训练数据分线性可分程度，支持向量机的分类以及对应采取的算法如下：

1. 线性可分支持向量机：硬间隔最大化（线性可分）

2. 线性支持向量机：软间隔最大化（近似线性可分）

3. 非线性支持向量机：核技巧+软间隔最大化（线性不可分）

线性可分支持向量机可以看作是线性支持向量机的一个特例；非线性支持向量机则通过核函数将线性不可分数据转换为线性可分数据，从而转换为线性支持向量机。

间隔最大化：按间隔中是否能出现样本点，分为硬间隔最大化和软间隔最大化。硬间隔最大化中不允许有样本点出现，因此适合于数据线性可分的情况；软间隔最大化中允许有少量样本点出现，适合于含有噪声的线性可分数据（称为近似线性可分）。

本文将按照上述思路介绍前两类类支持向量机，而非线性支持向量机和核函数在下一篇中再介绍。

1. 线性可分支持向量机

线性可分支持向量机（linear support vector machine in linearly separable case）与硬间隔最大化（hard margin maximization）

首先我们来看一个线性可分的例子，给定训练样本 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x m , y m ) } , y i ∈ { − 1 , + 1 } D=\left\{\left(\boldsymbol{x}_{1}, y_{1}\right),\left(\boldsymbol{x}_{2}, y_{2}\right), \ldots,\left(\boldsymbol{x}_{m}, y_{m}\right)\right\}, y_{i} \in\{-1,+1\} D={(x1​,y1​),(x2​,y2​),…,(xm​,ym​)},yi​∈{−1,+1}，分类学习最基本的想法就是基于训练集 $D$ 在样本空间中找到一个划分超平面，将不同类别的样本分开，但能将训练样本分开的划分超平面可能有很多，如下图所示：

图1 存在多个划分超平面将两类训练样本分开

直观上，应该去找位于两类训练样本“正中间”的划分超平面，因为该划分超平面对训练样本局部扰动的“容忍”性最好。例如，由于训练集的局限性或噪声的影响，训练集外的样本可能比图 1 中的训练样本更接近两个类的分隔届，这将使许多划分超平面出现错误，而红色的超平面受影响最小。换而言之，这个划分超平面所产生的分类结果鲁棒性是最好的，对预测数据的泛化能力也是最强的。

在样本空间中，划分超平面可通过如下线性方程来描述：

$${\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b=0\text{\hspace{1em}(1)}$$

其中 $\mathbf{w}=\left(w_1;w_2;\dots ;w_d\right)$ 为法向量，决定了超平面的方向；$b$ 为位移项，决定了超平面与原点之间的距离。因此划分超平面可以唯一的被法向量 $\mathbf{w}$ 和位移项 $b$ 确定，我们将这个超平面记为 $(\mathbf{w},b)$。

样本空间中任意点 $\mathbf{x}$ 到超平面 $(\mathbf{w},b)$ 的距离可以写为：

$$r=\frac{\left|{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b\right|}{\Vert \mathbf{w}\Vert }\text{\hspace{1em}(2)}$$

假设超平面 $(\mathbf{w},b)$ 能将训练样本正确分类，即对于 $\left({\mathbf{x}}_i,y_i\right)\in D$，若 $y_i=+1$，则有 ${\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b>0$；若 $y_i=-1$，则有 ${\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b<0$，如下：

$$\{\begin{array}{ll}{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b⩾+1,& y_i=+1\\ {\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b⩽-1,& y_i=-1\end{array}\text{\hspace{1em}(3)}$$

如图 2 所示，距离超平面最近的这几个训练样本点使公式 (3) 的等号成立，它们被称为“支持向量”（support vector），两个异类向量到超平面的距离之和为：

$$\gamma =\frac{2}{\Vert \mathbf{w}\Vert }\text{\hspace{1em}(4)}$$

它被称为间隔（margin）。

图2 支持向量与间隔

1.1 间隔计算公式推导

首先，设$W=\left(w_1,w_2\right),x=\left(x_1,x_2\right)$，并且 $Wx=w_1{x}_1+w_2{x}_2$。

假设我们有三条直线：

$\begin{array}{l}\bullet Wx+b=1\\ \bullet Wx+b=0\\ \bullet Wx+b=-1\end{array}$

其中第二条为超平面的表达式，第一条和第三条为边界的表达式。由于这三条线为等距平行线，因此想要确定间隔（两条边界的距离），只需要计算边界与超平面之间的距离，并乘 2 就得到了间隔。

下面上边界到超平面的距离：

图3 边界与超平面

由于移动直线并不改边之间的距离，因此可以将超平面移动到与原点相交，此时直线方程变为：

$\begin{array}{l}\bullet Wx=1\\ \bullet Wx=0\end{array}$

现在，超平面的直线表达式为$Wx=0$，因此其法向量为$W=\left(w_1,w_2\right)$。

图4 移动后的边界与超平面以及法向量

法向量 $W$ 与边界相交于蓝点，假设该点的坐标为 $(p,q)$，由于该点位于法向量 $W=\left(w_1,w_2\right)$ 上，所以 $(p,q)$ 是 $(w_1,w_2)$ 的倍数，即：

$\bullet (p,q)=k(w_1,w_2)$

将点 $(p,q)$ 代入边界方程 $Wx=1$ 有：

$$\begin{array}{rl}& Wx\\ & \Rightarrow (w_1,w_2)(x_1,x_2{)}^T\\ & \Rightarrow (w_1,w_2)(p,q{)}^T\\ & \Rightarrow (w_1,w_2)k(w_1,w_2{)}^T\\ & \Rightarrow k(w_1^2+w_2^2)=1\end{array}$$

因此$k=\frac{1}{w_1^2+w_2^2}=\frac{1}{|W{|}^2}$，所以蓝点坐标可化为：

$$\begin{array}{rl}(p,q)& =k(w_1,w_2)\\ & =kW\\ & =\frac{1}{|W{|}^2}W\\ & =\frac{W}{|W{|}^2}\end{array}$$

现在，两条直线之间的距离是蓝色向量的范数，由于分母是一个标量，向量 $\frac{W}{|W{|}^2}$ 的范数正是 $\frac{|W|}{|W{|}^2}$，即 $\frac{1}{|W|}$，如下图所示：

图5 边界到分离超平面的距离

最后，最终的间隔为两倍距离，即：

$$\gamma =\frac{2}{|\mathbf{w}|}$$

1.2 硬间隔最大化

支持向量机学习的基本想法是求解能够正确划分训练数据集并且间隔最大化的分离超平面。对于线性可分的训练数据集而言，线性可分的分离超平面有无数个，但是间隔最大的分离超平面是唯一的。

这里的间隔最大化又称为硬间隔最大化，间隔最大化的直观解释是：对训练数据集找到间隔最大的超平面以为着以充分大的确信度对训练数据进行分类，也就是说，不仅将正负实例点分开，而且最最难分的实例点（离超平面最近的点）也有足够大的确信度将它们分开。这样的超平面应该对未知的新实例有很好的分类预测能力。

求解硬间隔最大化下的超平面可以分为一下几步：

1. 将间隔最大化问题化为其倒数的最小化问题（为了应用拉格朗日对偶性求解最小化规划问题的解），我们将这个最小化问题称为原始问题，相应的算法1.1称为最大间隔法；

2. 利用拉格朗日对偶性将原始问题转换为拉格朗日函数，分两步求解得到算法1.1的最优解，我们将这个算法称为对偶算法；最后利用最优解代入公式可以得到分离超平面以及分离决策函数的方程式。

下面我将详细的介绍这两个步骤。

1.2.1 原始问题

由1.1可知，间隔的计算公式为$\gamma =\frac{2}{\Vert \mathbf{w}\Vert }$，因此最大化间隔$\frac{2}{\Vert \mathbf{w}\Vert }$ 相当于最小化 $\frac{1}{2}\Vert w{\Vert }^2$，于是就得到下面的线性可分支持向量学习的最优化问题：

---

算法1.1 线性可分支持向量机学习方法——最大间隔法

输入：线性可分训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯ &ThinSpace; , ( x N , y N ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中，$x_i\in X=R^n$， y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , ⋯ &ThinSpace; , N y_{i} \in \mathcal{Y}=\{-1,+1\}, \quad i=1,2, \cdots, N yi​∈Y={−1,+1},i=1,2,⋯,N；

输出：最大间隔分离超平面和分类决策函数。

（1） 构造并求解月时最优化问题：

$$\begin{array}{ll}\underset{w,b}{\min }& \frac{1}{2}\Vert w{\Vert }^2\\ \text{ s.t. }& y_i\left(w\cdot x_i+b\right)-1⩾0,i=1,2,\cdots ,N\end{array}\text{\hspace{1em}(5)}$$

求得最优解$w^{\ast },b^{\ast }$。

（2）由此得到分离超平面：

$$w^{\ast }\cdot x+b^{\ast }=0\text{\hspace{1em}(6)}$$

分离决策函数：

$$f(x)=\mathrm{sign}\left(w^{\ast }\cdot x+b^{\ast }\right)\text{\hspace{1em}(7)}$$

---

例 1.1

已知一个如图 6 所示的训练数据集，其正例点是 $x_1=(3,3{)}^T,x_2=(4,3{)}^T$，负例点是 $x_3=(1,1{)}^T$ ，试求最大间隔分离超平面。

图6 间隔最大分离超平面实例

按照算法1.1，根据训练数据集构造约束最优化问题：

$$\begin{array}{cl}\underset{x,b}{\min }& \frac{1}{2}\left(w_1^2+w_2^2\right)\\ \text{ s.t. }& 3w_1+3w_2+b⩾1\\ & 4w_1+3w_2+b⩾1\\ & -w_1-w_2-b⩾1\end{array}$$

求得此最优化问题的解 $w_1=w_2=\frac{1}{2},b=-2$，于是最大间隔分离超平面为：

$$\frac{1}{2}{x}^{(1)}+\frac{1}{2}{x}^{(2)}-2=0$$

其中，$x_1=(3,3{)}^T$与$x_2=(1,1{)}^T$ 为支持向量。

---

1.2.2 对偶算法

为了求得算法1.1 的最优化约束条件下的解 $w^{\ast },b^{\ast }$，我们将它作为原始最优化问题，利用拉格朗日对偶性，通过求对偶问题（dual problem）得到原始问题（primal problem）的最优解，这就是线性可分支持向量机的对偶算法。

首先建立拉格朗日函数（Lagrange function），为此，对不等式约束条件

$$y_i\left(w\cdot x_i+b\right)-1⩾0,i=1,2,\cdots ,N\text{\hspace{1em}(8)}$$

引入拉格朗日乘子（Largrange multiplier）:

$${\alpha }_i⩾0,i=1,2,\cdots ,N\text{\hspace{1em}(9)}$$

定义拉格朗日函数：

$$L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^N{\alpha }_i{y}_i\left(w\cdot x_i+b\right)+\sum _{i=1}^N{\alpha }_i\text{\hspace{1em}(10)}$$

其中，$\alpha ={\left({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_N\right)}^{\mathrm{T}}$ 为拉格朗日乘子向量。

根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题：

$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )\text{\hspace{1em}(11)}$$

所以为了得到对偶问题的解，需要先对$L(w,b,\alpha )$ 求 $w,b$ 的极小，再对 $\alpha$ 求极大。

(1) 求 $\underset{w,b}{\min }L(w,b,\alpha )$

将拉格朗日函数 $L(w,b,\alpha )$ 分别对 $ w, b$ 求偏导数，并令其等于0:

$$\begin{array}{l}{\nabla }_{w}L(w,b,\alpha )=w-{\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i=0\\ {\nabla }_{b}L(w,b,\alpha )={\sum }_{i=1}^N{\alpha }_i{y}_i=0\end{array}\text{\hspace{1em}(12)}$$

得：

$$\begin{array}{l}w={\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i\\ {\sum }_{i=1}^N{\alpha }_i{y}_i=0\end{array}\text{\hspace{1em}(13)}$$

将 (13) 代入拉格朗日公式 (10)，得：

$$\begin{array}{rl}L(w,b,\alpha )& =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i{y}_i\left(\left(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\right)\cdot x_i+b\right)+\sum _{i=1}^N{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i\end{array}\text{\hspace{1em}(14)}$$

即

$$\underset{w,b}{\min }L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i\text{\hspace{1em}(15)}$$

（2）求 ${\min }_{w,b}L(w,b,\alpha )$ 对 $\alpha$ 的极大，即使对偶问题：

$$\underset{\alpha }{\max }[-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i]\text{\hspace{1em}(16)}$$

$$\begin{array}{ll}\text{ s.t. }& {\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i⩾0,i=1,2,\cdots ,N\end{array}\text{\hspace{1em}(17)}$$

将公式 (16) 的最大化转换为最小化，就得到了下面与之等价的对偶最优化问题：

$$\underset{\alpha }{\min }[\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i]\text{\hspace{1em}(18)}$$

$$\begin{array}{ll}\text{ s.t. }& {\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i⩾0,i=1,2,\cdots ,N\end{array}\text{\hspace{1em}(19)}$$

设 ${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$ 是对偶最优化问题 (18-19) 的解，则存在下标 $j$，并可按下式求得原始最优化问题 (5) 的解 $w^{\ast },b^{\ast }$：

$$w^{\ast }=\sum _{i=1}^N{a}_i^{\ast }{y}_i{x}_i\text{\hspace{1em}(20)}$$

$$b^{\ast }=y_j-\sum _{i=1}^N{a}_i^{\ast }{y}_i(x_i\cdot x_j)\text{\hspace{1em}(21)}$$

---

证明如下：

对于原始问题和对偶问题，KKT（Karush-Kuhu-Tucker）条件成立，即得：

$$\begin{array}{l}{\nabla }_{w}L\left(w^{\ast },b^{\ast },{\alpha }^{\ast }\right)=w^{\ast }-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i=0\\ {\nabla }_{b}L\left(w^{\ast },b^{\ast },{\alpha }^{\ast }\right)=-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i=0\\ {\alpha }_i^{\ast }\left(y_i\left(w^{\ast }\cdot x_i+b^{\ast }\right)-1\right)=0,i=1,2,\cdots ,N\\ y_i\left(w^{\ast }\cdot x_i+b^{\ast }\right)-1⩾0,i=1,2,\cdots ,N\\ {\alpha }_i^{\ast }⩾0,i=1,2,\cdots ,N\end{array}\text{\hspace{1em}(22)}$$

由此得：

$$w^{\ast }=\sum _i{\alpha }_i^{\ast }{y}_i{x}_i\text{\hspace{1em}(23)}$$

其中至少有一个 $a_j^{\ast }>0$ （反证法，假设 $a^{\ast }=0$，由 (22) 第一条公式可知 $w^{\ast }=0$，而 $w^{\ast }=0$ 不是原始最优化问题 (5) 的解，产生矛盾），对此 $j$ 有：

$$y_j(w^{\ast }\cdot x_j+b^{\ast })-1=0\text{\hspace{1em}(24)}$$

将 (20) 代入 (24)，并注意到 $y_j^2=1$，即得：

$$b^{\ast }=y_j-\sum _{i=1}^N{a}_i^{\ast }{y}_i(x_i\cdot x_j)\text{\hspace{1em}(25)}$$

---

将 $w^{\ast },b^{\ast }$ 代入公式 (6)、(7)可得分离超平面的计算公式：

$$\sum _{i=1}^N{a}_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast }=0\text{\hspace{1em}(26)}$$

分类决策函数可以写为：

$$f(x)=sign[\sum _{i=1}^N{a}_i^{\ast }{y}_i(x\cdot x_i)]\text{\hspace{1em}(27)}$$

这就是说，对于给定的线性可分数据集，可以首先求对偶问题 (18-19) 的解 $a^{\ast }$；再利用公式 (20-21) 求得原始问题的解 $w^{\ast },b^{\ast }$；从而根据公式 (6-7) 得到分离超平面以及分类决策函数。

这种算法分称为线性可分支持向量机的对偶学习算法，是线性可分支持向量机学习的基本算法。

我们可以将上述过程总结为算法 1.2。

---

算法1.2 线性可分支持向量机学习算法

输入：线性可分训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯ &ThinSpace; , ( x N , y N ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中，$x_i\in X=R^n$， y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , ⋯ &ThinSpace; , N y_{i} \in \mathcal{Y}=\{-1,+1\}, \quad i=1,2, \cdots, N yi​∈Y={−1,+1},i=1,2,⋯,N；

输出：最大间隔分离超平面和分类决策函数。

（1） 构造并求解约束时最优化问题：

$$\underset{\alpha }{\min }[\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i]\text{\hspace{1em}(28)}$$

$$\begin{array}{ll}\text{ s.t. }& {\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i⩾0,i=1,2,\cdots ,N\end{array}\text{\hspace{1em}(29)}$$

求得最优解 ${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$ 。

（2）计算

$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i\text{\hspace{1em}(30)}$$

并选择 ${\alpha }^{\ast }$ 的一个正分量 ${\alpha }_j^{\ast }>0$，计算：

$$b^{\ast }=y_j-\sum _{i=1}^N{a}_i^{\ast }{y}_i(x_i\cdot x_j)\text{\hspace{1em}(31)}$$

（3）求得分离超平面：

$$w^{\ast }\cdot x+b^{\ast }=0\text{\hspace{1em}(32)}$$

分离决策函数：

$$f(x)=\mathrm{sign}\left(w^{\ast }\cdot x+b^{\ast }\right)\text{\hspace{1em}(33)}$$

---

例 1.2

与例1.1 相同，对一个如图 7 所示的训练数据集，其正例点是 $x_1=(3,3{)}^T,x_2=(4,3{)}^T$，负例点是 $x_3=(1,1{)}^T$ ，试用算法1.2求最大间隔分离超平面。

图7 间隔最大分离超平面实例

根据所给数据，对偶问题是：

$$\begin{array}{ll}\underset{\alpha }{\min }& \frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-{\sum }_{i=1}^N{\alpha }_i\\ & =\frac{1}{2}\left(18{\alpha }_1^2+25{\alpha }_2^2+2{\alpha }_3^2+42{\alpha }_1{\alpha }_2-12{\alpha }_1{\alpha }_3-14{\alpha }_2{\alpha }_3\right)-{\alpha }_1-{\alpha }_2-{\alpha }_3\\ \text{ s.t. }& {\alpha }_1+{\alpha }_2-{\alpha }_3=0\\ & {\alpha }_i⩾0,i=1,2,3\end{array}$$

解着一最优化问题，将 ${\alpha }_1={\alpha }_1+{\alpha }_2$ 代入目标函数并记为：

$$s({\alpha }_1,{\alpha }_2)=4{\alpha }_1^2+\frac{13}{2}{\alpha }_2^2+10{\alpha }_1{\alpha }_2-2{\alpha }_2-2{\alpha }_2$$

对 ${\alpha }_1,{\alpha }_2$ 求偏导数并令其为 0，易知 $s({\alpha }_1,{\alpha }_2)$ 在点 $(\frac{3}{2},-1{)}^T$ 取极值，但该点不满足约束条件 ${\alpha }_2\ge 0$，所以最小值应在边界上达到。

当 ${\alpha }_1=0$ 时，最小值 $s(0,\frac{2}{13})=-\frac{2}{13}$；当 ${\alpha }_2=0$ 时，最小值 $s(\frac{1}{4},0)=-\frac{1}{4}$，于是 ${\alpha }_1,{\alpha }_2$ 在 ${\alpha }_1=\frac{1}{4},{\alpha }_2=0$ 达到最小，此时 ${\alpha }_3={\alpha }_1+{\alpha }_3=\frac{1}{4}$。

由于 ${\alpha }_1^{\ast }={\alpha }_3^{\ast }=\frac{1}{4}>0$，所以由1.3可知其对应的实例点 $x_1,x_3$ 是支持向量。根据公式 (30-31) 计算得：

$$w_1^{\ast }=w_2^{\ast }=\frac{1}{2}$$

$$b^{\ast }=-2$$

分离超平面为：

$$\frac{1}{2}{x}^{(1)}+\frac{1}{2}{x}^{(2)}-2=0$$

分类决策函数为：

$$f(x)=sign(\frac{1}{2}{x}^{(1)}+\frac{1}{2}{x}^{(2)}-2)$$

---

1.3 支持向量

考虑原始最优化问题 (5) 以及对偶最优化问题 (28-29)，将训练数据集中对应与 ${\alpha }_i^{\ast }>0$ 的样本点 $(x_i,y_i)$的实例 $x_i\in {\mathbf{R}}^{\mathbf{n}}$ 称为支持向量。

根据这一定义，支持向量一定在间隔边界上，由 KKT 互补条件可知：

$${\alpha }_i^{\ast }\left(y_i\left(w^{\ast }\cdot x_i+b^{\ast }\right)-1\right)=0,i=1,2,\cdots ,N\text{\hspace{1em}(34)}$$

对应与 $a_i^{\ast }>0$ 的实例 $x_i$，有：

$$y_i(w^{\ast }\cdot x_i+b^{\ast })-1=0\text{\hspace{1em}(35)}$$

或

$$w^{\ast }\cdot x_i+b^{\ast }=\pm 1\text{\hspace{1em}(36)}$$

即 $x_i$ 一定在间隔边界上，这里的支持向量的定义与之前给出的支持向量的定义是一致的。

2. 线性支持向量机

线性可分问题的支持向量机学习方法，对线性不可分训练数据是不使用的，因为这是上述方法中的不等式约束并不能都成立。因此此时需要修改硬间隔最大化，使其称为软间隔最大化。

2.1 软间隔最大化

假定给定一个特征空间上的训练数据集：

(37) T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯ &ThinSpace; , ( x N , y N ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} \tag{37} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}(37)

其中$x_i\in X=R^n$， y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , ⋯ &ThinSpace; , N , x i y_{i} \in \mathcal{Y}=\{-1,+1\}, \quad i=1,2, \cdots, N, x_i yi​∈Y={−1,+1},i=1,2,⋯,N,xi​ 为第 $i$ 个特征向量，$y_1$ 为 $x_i$ 的类标记。再假设训练数据集不是线性可分的。通常情况是，训练数据中有一些特异点（outlier），将这些特异点去除后，剩下大部分的样本点组成的集合是线性可分的，我们称之为近似线性可分的。

近似线性可分意味着某些样本点 $(x_i,y_i)$ 不能满足函数间隔大于 1 的约束条件 (5)。为了解决这个问题，可以对每个样本点 $(x_i,y_i)$ 引入一个松弛变量 $\xi \ge 0$，使函数间隔加上松弛变量大于等于 1 。这样，约束条件变为：

$$y_i(w\cdot x_i+b)\ge 1-{\xi }_i\text{\hspace{1em}(38)}$$

同时，对每个松弛变量 ${\xi }_i$，支付一个代价 ${\xi }_i$，目标函数由原来的 $\frac{1}{2}\Vert w{\Vert }^2$ 变成：

$$\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i\text{\hspace{1em}(38)}$$

这里，$C>0$ 称为惩罚参数，一般由应用问题决定，$C$ 值越大时对误分类的惩罚增大，$C$ 值小时对误分类的惩罚减小，如下图所示：

图8 C 参数对间隔的调节

最小化目标函数 (38) 有两层含义：使 $\frac{1}{2}\Vert w{\Vert }^2$ 尽量小即间隔尽量大，同时使误分类点的个数尽量小，$C$ 是调和二者的系数。

有了上面的思路，可以和训练数据集线性可分时一样来考虑训练数据集线性近似可分时的线性支持向量机学习问题，相应于硬间隔最大化，它称为软间隔最大化（soft margin maximization）。

2.1.1 原始问题

近似线性可分的线性支持向量机的学习问题变成如下凸二次规划问题（原始问题）：

$$\underset{w,b,\xi }{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i\text{\hspace{1em}(39)}$$

$$\begin{array}{ll}\text{ s.t. }& y_i\left(w\cdot x_i+b\right)⩾1-{\xi }_i,i=1,2,\cdots ,N\\ & {\xi }_i⩾0,i=1,2,\cdots ,N\end{array}\text{\hspace{1em}(40)}$$

原始问题 (39-40) 是一个凸二次规划问题，因而关于 $(w,b,\xi )$ 的解时存在的。可以证明 $w$ 的解时唯一的， 但 $b$ 的解不唯一，但可以证明 $b$ 的解存在一个区间。

2.1.2 对偶算法

原始最优化问题 (39-40) 的拉格朗日函数是：

$$L(w,b,\xi ,\alpha ,\mu )\equiv \frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i\left(y_i\left(w\cdot x_i+b\right)-1+{\xi }_i\right)-\sum _{i=1}^N{\mu }_i{\xi }_i\text{\hspace{1em}(41)}$$

其中，${\alpha }_i\ge 0,{\mu }_i\ge 0$。

与 1.2.2 相同，对偶问题是拉格朗日函数的极大极小问题，首先求 $L(w,b,\xi ,\alpha ,\mu )$ 对 $w,b,\xi$ 的极小并代入 (41) 得：

$$\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i\text{\hspace{1em}(42)}$$

再对 $\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )$ 求 $\alpha$ 的极大，即得对偶问题：

$$\underset{\alpha }{\max }[-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i]\text{\hspace{1em}(43)}$$

$$\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i\text{\hspace{1em}(44)}$$

将对偶最优化问题 (43-44) 进行变换：利用 (44) 第二条公式消去 ${\mu }_i$，从而只留下变量 ${\alpha }_i$，同时将目标函数求极大转换为求极小，可得原始问题 (39-40)的对偶问题 (45-46)：

$$\underset{\alpha }{\min }[\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i]\text{\hspace{1em}(45)}$$

$$\begin{array}{ll}\text{ s.t. }& {\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ & C-{\alpha }_i-{\mu }_i=0\\ & {\alpha }_i⩾0\\ & {\mu }_i⩾0,i=1,2,\cdots ,N\end{array}\text{\hspace{1em}(46)}$$

设 ${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$ 是对偶问题 (45-46) 的一个解，若存在 ${\alpha }^{\ast }$ 的一个分量 ${\alpha }_j^{\ast }$，$0\le {\alpha }_i\le C$，则原始问题 (39-40) 的解 $w^{\ast },b^{\ast }$ 可按下式求得：

$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i\text{\hspace{1em}(47)}$$

$$b^{\ast }=y_i-\sum _{i=1}^N{y}_i{\alpha }_i^{\ast }(x_i\cdot x_i)\text{\hspace{1em}(48)}$$

综上，可得线性支持向量机学习算法。

---

算法2 线性支持向量机学习算法

输入：线性可分训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯ &ThinSpace; , ( x N , y N ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中，$x_i\in X=R^n$， y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , ⋯ &ThinSpace; , N y_{i} \in \mathcal{Y}=\{-1,+1\}, \quad i=1,2, \cdots, N yi​∈Y={−1,+1},i=1,2,⋯,N；

输出：分离超平面和分类决策函数。

（1） 选择惩罚参数 $C>0$，构造并求解约束时最优化问题：

$$\underset{\alpha }{\min }[\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i]\text{\hspace{1em}(49)}$$

$$\begin{array}{ll}\text{ s.t. }& {\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ & C-{\alpha }_i-{\mu }_i=0\\ & {\alpha }_i⩾0\\ & {\mu }_i⩾0,i=1,2,\cdots ,N\end{array}\text{\hspace{1em}(50)}$$

求得最优解 ${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$ 。

（2）计算

$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i\text{\hspace{1em}(51)}$$

并选择 ${\alpha }^{\ast }$ 的一个分量 $0\le {\alpha }_i\le C$，计算：

$$b^{\ast }=y_i-\sum _{i=1}^N{y}_i{\alpha }_i^{\ast }(x_i\cdot x_i)\text{\hspace{1em}(52)}$$

（3）求得分离超平面：

$$w^{\ast }\cdot x+b^{\ast }=0\text{\hspace{1em}(53)}$$

分离决策函数：

$$f(x)=\mathrm{sign}\left(w^{\ast }\cdot x+b^{\ast }\right)\text{\hspace{1em}(54)}$$

步骤 (2) 中，对任一适合条件 $0\le {\alpha }_i\le C$ 的 ${\alpha }_j^{\ast }$，按 (52) 都可以计算出 $b^{\ast }$，但是由于原始问题 (43-44) 对 $b$ 的解并不唯一，所以实际计算时可以取所有符合条件的样本点上的平均值。

---

2.2 支持向量

在线性不可分的情况下，将对偶问题 (49-50) 的解 ${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$ 中对应于 ${\alpha }_i^{\ast }$ 的样本点 $(x_i,y_i)$ 的实例 $x_i$ 称为支持向量（软间隔的支持向量）。

如图 9 所示，分离超平面由实现表示，间隔边界由虚线表示，正例点由“$\circ$”表示，负例点由“$\times$”表示。实例 $x_i$ 到间隔边界的距离为 $\frac{{\xi }_i}{\Vert w\Vert }$。

图9 软间隔的支持向量

软间隔的支持向量 $x_i$ 或者在间隔边界上，或者在间隔边界与分离超平面之间，或者在分离超平面误分一侧：

• 若 ${\alpha }_i^{\ast }<C$ ，则 ${\xi }_i=0$，支持向量 $x_i$ 恰好落在区间边界上；

• 若 ${\alpha }_i^{\ast }=C$ ， $0<{\xi }_i<1$，则分类正确，支持向量 $x_i$ 在区间边界与分离超平面之间；

• 若 ${\alpha }_i^{\ast }=C$ ， ${\xi }_i=1$，则支持向量 $x_i$ 在分离超平面上；

• 若 ${\alpha }_i^{\ast }=C$ ， ${\xi }_i>1$，则支持向量 $x_i$ 在分离超平面误分一侧。

2.3 合页损失函数

对于线性支持向量机来说，其模型为分离超平面 $w^{\ast }\cdot x+b^{\ast }=0$ 以及决策函数 $f(x)=sign(w^{\ast }\cdot x+b^{\ast })$，其学习策略为软间隔最大化，学习算法为凸二次规划。

线性支持向量机学习还有另外一种解释，就是最小以下目标函数：

$$\sum _{i=1}^N[1-y_i(w\cdot x_i+b){]}_{+}+\lambda \Vert w{\Vert }^2\text{\hspace{1em}(55)}$$

1. 目标函数的第一项式经验损失或经验风险。

函数：

$$L(y(w\cdot x+b))=[1-y(w\cdot x+b){]}_{+}\text{\hspace{1em}(56)}$$

称为合页损失函数（hinge loss function）。下标“+”表示以下取的函数：

$$[z{]}_{+}=\{\begin{array}{ll}z,& z>0\\ 0,& z⩽0\end{array}\text{\hspace{1em}(57)}$$

这就是说，当样本点 $(x_i,y_i)$ 被正确分类且函数间隔（确信度） $y_i(w\cdot x_i+b)$ 大于 1 时，损失时0，否则损失是 $1-y(w\cdot x+b)$，注意图 9 中的实例点 $x_4$ 被正确分类但损失不是 0 。

2. 目标函数的第 2 项是系数为 $\lambda$ 的 $w$ 的 $L_2$ 范数，是正则化项。

---

定理

线性支持向量机原始最优化问题：

$$\underset{w,b,\xi }{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i\text{\hspace{1em}(58)}$$

$$\begin{array}{ll}\text{ s.t. }& y_i\left(w\cdot x_i+b\right)⩾1-{\xi }_i,i=1,2,\cdots ,N\\ & {\xi }_i⩾0,i=1,2,\cdots ,N\end{array}\text{\hspace{1em}(59)}$$

等价于最优化问题：

$$\underset{w,b}{\min }\sum _{i=1}^N[1-y_i(w\cdot x_i+b){]}_{+}+\lambda \Vert w{\Vert }^2\text{\hspace{1em}(60)}$$

---

合页损失函数的图形如下图所示，横轴是函数间隔 $y(w\cdot x+b)$， 纵轴是损失，由于函数形状像一个合页，故命名合页损失函数。

图10 合页损失函数

图中还画出 0-1 损失函数，可以认为它是二类分类问题的真正的损失函数，而合页损失函数是 0-1 损失函数的上界，由于 0-1 损失函数不是连续可导的，直接优化由其构成的目标函数比较困难，可以认为线性支持向量机就是优化由 0-1 损失函数的上界（合页损失函数）构成的目标函数。这时的上界损失函数由称为代理损失函数（surrograte loss function）。

图中虚线显示的是感知器的损失函数 $[y_i(w\cdot x_i+b){]}_{+}$。这时，当样本点 $(x_i,y_i)$ 被正确分类时，损失是 0，否则损失是 $-y_i(w\cdot x_i+b)$，相比之下，合页损失函数不仅要分类正确，而且确信度足够高时损失才是 0，也就是说，合页损失函数对学习由更高的要求。

参考资料

[1] 李航. 统计学习方法[M]. 北京: 清华大学出版社, 2012: 95-115.

[2] 周志华. 机器学习[M]. 北京: 清华大学出版社, 2016: 121-126.