机器学习系列 09：支持向量机 01 - 线性可分支持向量机和线性支持向量机

---

针对 “支持向量机” 将分为以下几个部分进行介绍：

1. 支持向量机 01 - 线性可分支持向量机和线性支持向量机（本篇）
2. 支持向量机 02 - SMO（序列最小化）
3. 支持向量机 03 - 非线性支持向量机
4. 支持向量机 04 - SVR（支持向量回归）

---

  本内容将介绍 线性可分支持向量机 和 线性支持向量机。

  支持向量机（Support vector machines，SVM）是一种二分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划（convex quadratic programming）的问题。支持向量机是一种经典的机器学习算法，在小样本数据集的情况下有非常广的应用。

  支持向量机包含：线性可分支持向量机、线性支持向量机和非线性支持向量机。

• 线性可分支持向量机：当训练数据线性可分时，通过硬间隔最大化，学习一个线性的分类器。
• 线性支持向量机：当训练数据近似线性可分时，通过软间隔最大化，学习一个线性的分类器。
• 非线性支持向量机：当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。

一、线性可分支持向量机

1.1 间隔与支持向量

  给定训练样本集 D = { ( x ( 1 ) , y ( 1 ) ) , ( x ( 2 ) , y ( 2 ) ) , ⋯   , ( x ( m ) , y ( m ) ) } , y ( i ) ∈ { − 1 , + 1 } ​ D=\{(\mathbf{x}^{(1)}, y^{(1)}), (\mathbf{x}^{(2)}, y^{(2)}), \cdots, (\mathbf{x}^{(m)}, y^{(m)})\}, y^{(i)} \in \{-1, +1\}​ D={(x(1),y(1)),(x(2),y(2)),⋯,(x(m),y(m))},y(i)∈{−1,+1}​，分类学习最基本的想法就是基于训练集在样本空间中找到一个划分超平面，将不同类别的样本分开。如图-1 所示的二维样本空间的分类问题，图中 “●” 表示正实例点（即 $y=+1$），“×” 表示负实例点（即 $y=-1$）。我们可以看到存在很多个划分超平面可将两类数据正确分开，那我们到底应该选择哪一条呢？

图-1 线性可分的样本集

  直观上看，应该去找位于两类训练样本中“正中间”的划分超平面，即图-1 中最粗的那条黑线，因为该划分超平面对训练样本局部扰动的“容忍性”最好。例如，由于训练集的局限性或噪声的因素，训练集外的样本可能比图-1 中训练样本更接近两个类的分割界，这将是需要划分超平面出现错误，而蓝色的超平面受影响最小。换言之，这个划分超平面所产生的分类结果是最鲁棒的，对未见示例的泛化能力最强。

  在样本空间中，划分超平面可通过如下线性方程来描述

$${\mathbf{w}}^T\mathbf{x}+b=0\text{\hspace{1em}(1)}$$

其中 $\mathbf{w}=(w_1;w_2;\cdots ;w_n)$ 为法向量，决定了超平面的方向；$b$ 为位移项，决定了超平面与原点之间的距离。显然，划分超平面可被法向量 $\mathbf{w}$ 和 $b$ 确定，下面我们将其记为 $(\mathbf{w},b)$。样本空间中任意点 ${\mathbf{x}}^{(i)}$ 到超平面 $(\mathbf{w},b)$ 的距离可写为

$$r_i=\frac{|{\mathbf{w}}^T{\mathbf{x}}^{(i)}+b|}{||\mathbf{w}||}\text{\hspace{1em}(2)}$$

  定义样本空间中的样本点到超平面 $(\mathbf{w},b)$ 的最短距离为

$$\hat{r}=\underset{i=1,2,\cdots ,m}{\min }{r}_i=\underset{i=1,2,\cdots ,m}{\min }\frac{|{\mathbf{w}}^T{\mathbf{x}}^{(i)}+b|}{||\mathbf{w}||}\text{\hspace{1em}(3)}$$

  假设超平面 $(\mathbf{w},b)$ 能将训练样本正确分类，即对于样本空间中的任意样本点
$({\mathbf{x}}^{(i)},y^{(i)})$，存在如下关系
$$\{\begin{array}{c}\frac{{\mathbf{w}}^T{\mathbf{x}}^{(i)}+b}{||\mathbf{w}||}\ge \hat{r},y^{(i)}=+1\\ \\ \frac{{\mathbf{w}}^T{\mathbf{x}}^{(i)}+b}{||\mathbf{w}||}\le -\hat{r},y^{(i)}=-1\end{array}\Rightarrow \{\begin{array}{c}{\mathbf{w}}^T{\mathbf{x}}^{(i)}+b\ge ||\mathbf{w}||\hat{r},y^{(i)}=+1\\ \\ {\mathbf{w}}^T{\mathbf{x}}^{(i)}+b\le -||\mathbf{w}||\hat{r},y^{(i)}=-1\end{array}\text{\hspace{1em}(4)}$$
  将式（4）中的条件判断进行融合得到
$$y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b)\ge ||\mathbf{w}||\hat{r}\text{\hspace{1em}(5)}$$
  我们可以令 $||\mathbf{w}||\hat{r}=1$，则存在
$$\hat{r}=\frac{1}{||\mathbf{w}||}\text{\hspace{1em}(6)}$$

$$y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b)\ge 1\text{\hspace{1em}(7)}$$

  如图 2 所示，在线性可分情况下，被红色圆圈圈住的训练样本点与分离超平面距离最近，它们被称为 支持向量（support vector）。两个异类支持向量到超平面的距离之和为

$$\gamma =2\hat{r}=\frac{2}{||\mathbf{w}||}\text{\hspace{1em}(8)}$$

被称为“间隔”（margin）。

图 2 硬间隔与支持向量

1.2 硬间隔最大化

  支持向量机学习的基本想法是求解能够正确划分训练集并且几何间隔最大的分离超平面。对线性可分的训练数据集而言，线性可分分离超平面有无穷多个（等价于感知机），但是几何间隔最大的分离超平面是唯一的。这里的间隔最大化又称为 硬间隔最大化。

  欲找到具有“最大间隔”（maximum margin）的划分超平面，也就是要找到满足式（7）中约束的参数 $\mathbf{w}$ 和 $b$，使 $\gamma$ 最大，即

$$\begin{array}{rl}& \underset{\mathbf{w},b}{\max }\frac{2}{||\mathbf{w}||}\\ & \\ & s.t.y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b)\ge 1,i=1,2,\cdots ,m\end{array}\text{\hspace{1em}(9)}$$

其中，$s.t.$ 表示 subject to，“受限于”的意思。

  最大化 $\frac{2}{||\mathbf{w}||}$ 和最小化 $\frac{1}{2}||\mathbf{w}|{|}^2$是等价的， 于是式（9）可重写为

$$\begin{array}{rl}& \underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2\\ & \\ & s.t.1-y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b)\le 0,i=1,2,\cdots ,m\end{array}\text{\hspace{1em}(10)}$$

这就是 线性可分支持向量机 的基本型。

1.3 对偶问题

  下面的内容需要对 “拉格朗日乘子法、KKT 条件和拉格朗日对偶性” 的知识有一定的了解，如果你还不了解，可以参阅 机器学习系列 08：深入理解拉格朗日乘子法、KKT 条件和拉格朗日对偶性 。

  为了求解线性可分支持向量机的最优化问题式（10），将它作为原始最优化问题，应用拉格朗日对偶性，通过求解对偶问题（dual problem）得到原始问题（primal problem）的最优解。这样做的优点，一是对偶问题往往更容易求解；二是自然引入核函数，进而推广到非线性分类问题。

  对式（10）构建拉格朗日函数

$$L(\mathbf{w},b,\alpha )=\frac{1}{2}||\mathbf{w}|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b))\text{\hspace{1em}(11)}$$

其中，${\alpha }_i$ 为拉格朗日乘子，并且 ${\alpha }_i\ge 0$。则原始问题可表示为如下极小极大问题

$$\underset{\mathbf{w},b}{\min }\underset{{\alpha }_i}{\max }L(\mathbf{w},b,\alpha )\text{\hspace{1em}(12)}$$

  根据拉格朗日对偶性可知，原始问题式（12）的对偶问题为如下极大极小问题

$$\underset{{\alpha }_i}{\max }\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\alpha )\text{\hspace{1em}(13)}$$

  为了得到对偶问题式（13）的解，需要先求 $L(\mathbf{w},b,\alpha )$ 对 $\mathbf{w}$，$b$ 的极小，在求对 $\alpha$ 的极大。

  （1）求 ${\min }_{\mathbf{w},b}L(\mathbf{w},b,\alpha )$

  将 $L(\mathbf{w},b,\alpha )$ 分别对 $\mathbf{w}$ 和 $b$ 求偏导，并将其置为 0，即

$$\frac{\partial L(\mathbf{w},b,\alpha )}{\partial \mathbf{w}}=\mathbf{w}-\sum _{i=1}^m{\alpha }_i{y}^{(i)}{\mathbf{x}}^{(i)}=0\Rightarrow \mathbf{w}=\sum _{i=1}^m{\alpha }_i{y}^{(i)}{\mathbf{x}}^{(i)}\text{\hspace{1em}(14)}$$

$$\frac{\partial L(\mathbf{w},b,\alpha )}{\partial b}=\sum _{i=1}^m{\alpha }_i{y}^{(i)}=0\Rightarrow \sum _{i=1}^m{\alpha }_i{y}^{(i)}=0\text{\hspace{1em}(15)}$$

  将式（14）和（15）代入式（11）中，得：

$$\begin{array}{rl}L(\mathbf{w},b,\alpha )& =\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+\sum _{i=1}^m{\alpha }_i-{\mathbf{w}}^T\sum _{i=1}^m{\alpha }_i{y}^{(i)}{\mathbf{x}}^{(i)}-b\sum _{i=1}^m{\alpha }_i{y}^{(i)}\\ & \\ & =\frac{1}{2}{\mathbf{w}}^T\sum _{i=1}^m{\alpha }_i{y}^{(i)}{\mathbf{x}}^{(i)}+\sum _{i=1}^m{\alpha }_i-{\mathbf{w}}^T\sum _{i=1}^m{\alpha }_i{y}^{(i)}{\mathbf{x}}^{(i)}-b\cdot 0\\ & \\ & =\sum _{i=1}^m{\alpha }_i-\frac{1}{2}{\left(\sum _{i=1}^m{\alpha }_i{y}^{(i)}{\mathbf{x}}^{(i)}\right)}^T\sum _{i=1}^m{\alpha }_i{y}^{(i)}{\mathbf{x}}^{(i)}\\ & \\ & =\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}{\mathbf{x}}^{(i)}\cdot {\mathbf{x}}^{(j)}\end{array}\text{\hspace{1em}(16)}$$

  对偶问题转换为

$$\begin{array}{rl}& \underset{\alpha }{\max }\left(\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}{\mathbf{x}}^{(i)}\cdot {\mathbf{x}}^{(j)}\right)\\ & \\ & \begin{array}{rl}s.t.& \sum _{i=1}^m{\alpha }_i{y}^{(i)}=0\\ & \\ & {\alpha }_i\ge 0,i=1,2,\cdots ,m\end{array}\end{array}\text{\hspace{1em}(17)}$$

  需要注意的是上述过程需要满足以下 KKT 条件

$$\{\begin{array}{c}\begin{array}{rl}& {\alpha }_i\ge 0\\ & \\ & 1-y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b)\le 0\\ & \\ & {\alpha }_i\left(1-y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b)\right)=0\end{array}\end{array}\text{\hspace{1em}(18)}$$

  （2）求 ${\min }_{\mathbf{w},b}L(\mathbf{w},b,\alpha )$ 对 $\alpha$ 的极大

  可知式（17）是一个二次规划问题，可使用通用的二次规划算法来求解；然而，该问题的规模正比于训练样本数，这会在实际任务中造成很大的开销。我们可以使用更高效的 SMO（Sequential Minimal Optimization，序列最小化）算法来求解这个问题。当求得 $\alpha$ 后，然后可通过其求得 $\mathbf{w}$ 和 $b$ 的值，最终得到划分超平面 $(\mathbf{w},b)$。

  我们将在下一篇文章（支持向量机 02 - SMO（序列最小化））中介绍 SMO 算法。

  在求得 $\alpha$ 和 $b$ 的值后，最终可得到
$$\begin{array}{rl}f(\mathbf{x})& ={\mathbf{w}}^T\mathbf{x}+b\\ & =\sum _{i=1}^m{\alpha }_i{y}^{(i)}{\mathbf{x}}^{(i)}\cdot \mathbf{x}+b\end{array}$$

二、线性支持向量机

2.1 软间隔最大化

  对于线性可分问题，上述线性可分支持向量机的学习算法是完美的。但是，在现实问题中，训练集往往是线性不可分的，比如在样本中出现噪声或特异点等情况。因为存在部分样本点不满足式（7）的不等式约束，所以线性可分支持向量机对线性不可分的情况不在适用。怎么才能将它扩展到线性不可分的情况呢？这就需要修改硬间隔最大化，使其成为软间隔最大化。

  给定训练样本集 D = { ( x ( 1 ) , y ( 1 ) ) , ( x ( 2 ) , y ( 2 ) ) , ⋯   , ( x ( m ) , y ( m ) ) } , y ( i ) ∈ { − 1 , + 1 } ​ D=\{(\mathbf{x}^{(1)}, y^{(1)}), (\mathbf{x}^{(2)}, y^{(2)}), \cdots, (\mathbf{x}^{(m)}, y^{(m)})\}, y^{(i)} \in \{-1, +1\}​ D={(x(1),y(1)),(x(2),y(2)),⋯,(x(m),y(m))},y(i)∈{−1,+1}​，并假设训练样本集不是线性可分的。通常情况是，训练样本集中有一些特异点，将这些特异点除去后，剩下的样本组成的集合是线性可分的。

  线性不可分意味着某些样本点 $({\mathbf{x}}^{(i)},y^{(i)})$ 不能满足式（7）的不等式约束。为了解决这个问题，可以对每个样本点 $({\mathbf{x}}^{(i)},y^{(i)})$ 引进一个松弛变量 ${\xi }_i\ge 0$，约束条件变为

$$y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b)\ge 1-{\xi }_i\text{\hspace{1em}(19)}$$

同时，对每个松弛变量 ${\xi }_i$，添加一个代价 $C$。目标函数由原来的 $\frac{1}{2}||\mathbf{w}|{|}^2$ 变为

$$\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^m{\xi }_i\text{\hspace{1em}(20)}$$

其中，$C>0$ 称为惩罚参数，一般由实际问题决定。$C$ 值大时对误分类的惩罚增大，$C$ 值小时对误分类的惩罚减小。最小化目标函数式（20）包含两层含义：使 $\frac{1}{2}||\mathbf{w}|{|}^2$ 尽量小即间隔尽量大，同时使误分类点的个数尽量少，$C$ 是调和二者的系数。

  相应于线性可分支持向量机中的硬间隔最大化，这里称为 软间隔最大化。

  线性支持向量机 的基本型为

$$\begin{array}{rl}& \underset{\mathbf{w},b,\xi }{\min }\left(\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^m{\xi }_i\right)\\ & \\ & \begin{array}{rl}s.t.& y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b)\ge 1-{\xi }_i,i=1,2,\cdots ,m\\ & \\ & {\xi }_i\ge 0,i=1,2,\cdots ,m\end{array}\end{array}\text{\hspace{1em}(21)}$$

  由于现实中训练样本集往往是线性不可分的，相比线性可分支持向量机，线性支持向量机具有更广的适用性。

2.2 对偶问题

  对原始问题构建拉格朗日函数

$$L(\mathbf{w},b,\xi ,\alpha ,\beta )=\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^m{\xi }_i+\sum _{i=1}^m{\alpha }_i\left(1-{\xi }_i-y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b)\right)-\sum _{i=1}^m{\beta }_i{\xi }_i\text{\hspace{1em}(22)}$$

其中，${\alpha }_i$ 和 ${\beta }_i$ 为拉格朗日乘子，并且 ${\alpha }_i\ge 0,\beta \ge 0$。则原始问题可表示为如下极小极大问题

$$\underset{\mathbf{w},b,{\xi }_i}{\min }\underset{{\alpha }_i,{\beta }_i}{\max }L(\mathbf{w},b,\xi ,\alpha ,\beta )\text{\hspace{1em}(23)}$$

  根据拉格朗日对偶性可知，原始问题式（23）的对偶问题为如下极大极小问题

$$\underset{{\alpha }_i,{\beta }_i}{\max }\underset{\mathbf{w},b,{\xi }_i}{\min }L(\mathbf{w},b,\alpha )\text{\hspace{1em}(24)}$$

（1）求 ${\min }_{\mathbf{w},b,{\xi }_i}L(\mathbf{w},b,\xi ,\alpha ,\beta )$

  将 $L(\mathbf{w},b,\xi ,\alpha ,\beta )$ 分别对 $\mathbf{w}$，$b$ 和 ${\xi }_i$ 求偏导，并将其置为 0，即

$$\frac{\partial L(\mathbf{w},b,\xi ,\alpha ,\beta )}{\partial \mathbf{w}}=\mathbf{w}-\sum _{i=1}^m{\alpha }_i{y}^{(i)}{\mathbf{x}}^{(i)}=0\Rightarrow \mathbf{w}=\sum _{i=1}^m{\alpha }_i{y}^{(i)}{\mathbf{x}}^{(i)}\text{\hspace{1em}(25)}$$

$$\frac{\partial L(\mathbf{w},b,\xi ,\alpha ,\beta )}{\partial b}=-\sum _{i=1}^m{\alpha }_i{y}^{(i)}=0\Rightarrow \sum _{i=1}^m{\alpha }_i{y}^{(i)}=0\text{\hspace{1em}(26)}$$

$$\frac{\partial L(\mathbf{w},b,\xi ,\alpha ,\beta )}{\partial {\xi }_i}=C-{\alpha }_i-{\beta }_i=0\text{\hspace{1em}(27)}$$

  将式（25）~（27）代入式（22）中，得

$$\underset{\mathbf{w},b,{\xi }_i}{\min }L(\mathbf{w},b,\xi ,\alpha ,\beta )=\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}{\mathbf{x}}^{(i)}\cdot {\mathbf{x}}^{(j)}\text{\hspace{1em}(28)}$$

  对偶问题转换为

$$\begin{array}{rl}& \underset{{\alpha }_i}{\max }\left(\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}{\mathbf{x}}^{(i)}\cdot {\mathbf{x}}^{(j)}\right)\\ & \\ & \begin{array}{rl}s.t.& \sum _{i=1}^m{\alpha }_i{y}^{(i)}=0\\ & \\ & C-{\alpha }_i-{\beta }_i=0\\ & \\ & {\alpha }_i\ge 0\\ & \\ & {\beta }_i\ge 0,i=1,2,\cdots ,m\end{array}\end{array}\text{\hspace{1em}(29)}$$

  可以看到上面所求算式中不包含变量 ${\beta }_i$，所以我们可以将约束条件中的 ${\beta }_i$ 消去，得到

$$\begin{array}{rl}& \underset{{\alpha }_i}{\max }\left(\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}{\mathbf{x}}^{(i)}\cdot {\mathbf{x}}^{(j)}\right)\\ & \\ & \begin{array}{rl}s.t.& \sum _{i=1}^m{\alpha }_i{y}^{(i)}=0\\ & \\ & 0\le {\alpha }_i\le C\end{array}\end{array}\text{\hspace{1em}(30)}$$

  将式（30）与硬间隔下的对偶问题式（17）对比可知，两者唯一的差别就在于对偶变量的约束不同：前者是 $0\le {\alpha }_i\le C$，后者是 $0\le {\alpha }_i$。同样地，可以采用 SMO 算法求解式（30）。

  类似式（18），线性支持向量机，需要满足以下 KKT 条件

$$\{\begin{array}{c}\begin{array}{rl}& {\alpha }_i\ge 0,{\beta }_i\ge 0\\ & \\ & 1-{\xi }_i-y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b)\le 0\\ & \\ & {\alpha }_i\left(1-{\xi }_i-y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b)\right)=0\\ & \\ & {\xi }_i\ge 0\\ & \\ & {\beta }_i{\xi }_i=0\end{array}\end{array}\text{\hspace{1em}(31)}$$

  （2）求 ${\min }_{\mathbf{w},b}L(\mathbf{w},b,\xi ,\alpha ,\beta )$ 对 $\alpha$ 的极大

  与线性可分支持向量机中一样，可以使用在 支持向量机 02 - SMO（序列最小化） 中介绍的 SMO 算法求解。

  与线性可分支持向量机一样，在求得 $\alpha$ 和 $b$ 的值后，最终可得到
$$\begin{array}{rl}f(\mathbf{x})& ={\mathbf{w}}^T\mathbf{x}+b\\ & =\sum _{i=1}^m{\alpha }_i{y}^{(i)}{\mathbf{x}}^{(i)}\cdot \mathbf{x}+b\end{array}$$

2.3 支持向量

  如图 3 所示，在线性不可分的情况下，这是的支持向量要比线性可分时的情况复杂一些。图中，分离超平面由黑色实线表示，间隔边界由虚线表示，被红色圆圈圈住的样本点属于 支持向量。我们可以看到，软间隔的支持向量可以在间隔边界上，或者间隔边界与分离超平面之间，或者在分离超平面误分一侧。

图 3 软间隔与支持向量

  对任意训练样本 $({\mathbf{x}}^{(i)},y^{(i)})$，总有 ${\alpha }_i=0$ 或 $y^{(i)}f({\mathbf{x}}^{(i)})=1-{\xi }_i$。若 ${\alpha }_i=0$，则 $1-{\xi }_i-y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b)\le 0$，即样本在间隔边界外，样本被正确分类。若 ${\alpha }_i>0$，则有 $1-{\xi }_i-y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b)=0$，即该样本为支持向量。若 $0<{\alpha }_i<C$，由式（27）可知有 ${\beta }_i>0$，又由于 ${\beta }_i{\xi }_i=0$，进而有 ${\xi }_i=0$，最终得到 $1-y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b)=0$，即该样本在最大间隔边界上。若 ${\alpha }_i=C$，由式（27）可知有 ${\beta }_i=0$，此时若 $0<{\xi }_i<1$，则样本在间隔边界与分离超平面之间；若 ${\xi }_i=1$，则样本正好在分离超平面上；若 ${\xi }_i>1$，则样本在分离超平面误分类一侧。

  将上面的内容进行总结如下：

• 若 ${\alpha }_i=0$：不属于支持向量。样本被正确分类，位于间隔边界外。

$${\alpha }_i=0\iff y^{(i)}f({\mathbf{x}}^{(i)})\ge 1\text{\hspace{1em}(32)}$$

• 若 $0<{\alpha }_i<C$：属于支持向量。样本被正确分类，位于最大间隔边界上。

$$0<{\alpha }_i<C\iff y^{(i)}f({\mathbf{x}}^{(i)})=1\text{\hspace{1em}(33)}$$

• 若 ${\alpha }_i=C$：属于支持向量。又分为以下几种情况

  • 若 $0<{\xi }_i<1$：样本被正确分类，位于间隔边界与分离超平面之间；
  • 若 ${\xi }_i=1$：样本位于分离超平面上；
  • 若 ${\xi }_i>1$：样本被错误分类，样本位于分离超平面误分类一侧。

$${\alpha }_i=C\iff y^{(i)}f({\mathbf{x}}^{(i)})\le 1\text{\hspace{1em}(34)}$$

  由此可以看出 在决定分离超平面时只有支持向量起作用，而其他实例点并不起作用。如果移动支持向量将改变所求的解；但是如果在间隔边界以外移动其他实例点，甚至去掉这些点，则解是不会改变的。由于支持向量在确定分离超平面中起着决定性作用，所以将这种分类模型称为支持向量机。支持向量的个数一般很少，所以支持向量机由很少的“重要的”训练样本确定。

2.4 合页损失函数

  对于线性支持向量机学习来说，其模型为分离超平面 ${\mathbf{w}}^T\mathbf{x}+b=0$，其学习策略为软间隔最大化，学习算法为凸二次规划。实际上线性支持向量机学习还有另外一种解释，就是最小化以下目标函数

$$\sum _{i=1}^m{l}_{hinge}(y^{(i)}({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b)-1)+\lambda ||\mathbf{w}|{|}^2\text{\hspace{1em}(35)}$$

其中 $\lambda >0$ 是一个常数，$l_{hinge}$ 是“合页损失函数”

$$l_{hinge}(z)=\max (0,1-z)\text{\hspace{1em}(36)}$$

即表示，当样本点 $({\mathbf{x}}^{(i)},y^{(i)})$ 被正确分类且函数间隔 $y^{(i)}\left({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b\right)>1$ 时，损失为 $0$；否则损失为 $1-y^{(i)}\left({\mathbf{w}}^T{\mathbf{x}}^{(i)}+b\right)$。

  目标函数式（35）中的第 一项称为 经验风险，第二项称为 结构风险，$\lambda$ 用于对二者进行折中。实际上它与式（21）是等价的。（具体证明过程在参考书[2] 中有介绍。）

2.5 惩罚因子 C

  需要注意的时，在代码实现时，$C$ 是一个常数，需要我们自己来定义。在前面的 2.1 节中有这样一句话 $C$ 值大时对误分类的惩罚增大，$C$ 值小时对误分类的惩罚减小。

参考：
[1] 周志华《机器学习》
[2] 李航《统计学习方法》
[3] https://zhuanlan.zhihu.com/p/29604517
[4] https://blog.csdn.net/abcd_d_/article/details/45094473