机器学习-白板推导系列(六)(1)-支持向量机SVM（Support Vector Machine）

6. 支持向量机SVM（Support Vector Machine）

6.1 引言

1. 简介
   SVM是什么? 先来看看维基百科上对SVM的定义:

   支持向量机（英语：support vector machine，常简称为SVM，又名支持向量网络）是在分类与回归分析中分析数据的监督式学习模型与相关的学习算法。给定一组训练实例，每个训练实例被标记为属于两个类别中的一个或另一个，SVM训练算法创建一个将新的实例分配给两个类别之一的模型，使其成为非概率二元线性分类器。SVM模型是将实例表示为空间中的点，这样映射就使得单独类别的实例被尽可能宽的明显的间隔分开。然后，将新的实例映射到同一空间，并基于它们落在间隔的哪一侧来预测所属类别。

   简单点讲，SVM就是一种二类分类模型，他的基本模型是的定义在特征空间上的间隔最大的线性分类器，SVM的学习策略就是间隔最大化。

2. 直观理解
   
   图中有分别属于两类的一些二维数据点和三条直线。如果三条直线分别代表三个分类器的话，请问哪一个分类器比较好？

   我们凭直观感受应该觉得答案是H3。首先H1不能把类别分开，这个分类器肯定是不行的；H2可以，但分割线与最近的数据点只有很小的间隔，如果测试数据有一些噪声的话可能就会被H2错误分类(即对噪声敏感、泛化能力弱)。H3以较大间隔将它们分开，这样就能容忍测试数据的一些噪声而正确分类，是一个泛化能力不错的分类器。

   对于支持向量机来说，数据点若是$p$维向量，我们用$p-1$维的超平面来分开这些点。但是可能有许多超平面可以把数据分类。最佳超平面的一个合理选择就是以最大间隔把两个类分开的超平面。因此，SVM选择能够使离超平面最近的数据点的到超平面距离最大的超平面。

3. 概括

   • SVM有三宝：$间隔,对偶,核技巧$。
   • 从类别上来看，分为三类：
     • $硬间隔$：hard-margin SVM
     • $软间隔$：soft-margin SVM
     • $核方法$：kernel SVM

---

6.2 硬间隔SVM-模型定义（最大间隔分类器）

6.2.1 概述

• 已知数据$线性可分$的训练数据集:
  $$\begin{gathered} x_i\in {\mathbb{R}}^p,i=1,2,\cdots ,N \\ X=(x_1,x_1,\cdots ,x_N{)}^T=\left(\begin{array}{c}{x}_1^T\\ x_2^T\\ ⋮\\ x_N^T\end{array}\right)={\left(\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1p}\\ x_{21}& x_{22}& \cdots & x_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ x_{N1}& x_{N2}& \cdots & x_{Np}\end{array}\right)}_{N\times p} \end{gathered}$$
  { ( x i , y i ) } i = 1 N , x i ∈ R p , y i ∈ { + 1 , − 1 } \left \{(x_{i},y_{i})\right \}_{i=1}^{N},x_{i}\in \mathbb {R}^{p},y_{i}\in \{+1,-1\} {(xi​,yi​)}i=1N​,xi​∈Rp,yi​∈{+1,−1}
  其中 $x_i$是一个含有$p$个元素的列向量; $y_i$是标量, y ∈ { + 1 , − 1 } , y i = + 1 y∈\{+1,−1\}, y_i=+1 y∈{+1,−1},yi​=+1时表示$x_i$属于正类别, $y_i=-1$时表示$x_i$属于负类别。
• 我们知道，SVM就是 寻找最佳超平面的一个合理选择就是以最大间隔把两个类分开的超平面，如下图：
  $f(w)=sign(w^{T}x+b)$为返回结果，因此其是$判别模型$，而非概率模型。则对间隔最大化转化为数学表示：
  $$\{\begin{array}{c}\underset{W,b}{\max }margin(W,b)\\ s.t.y_i(W^T{x}_i+b)>0,i=1,2,\cdots ,N\end{array}\text{\hspace{1em}(6.2.1)}$$

6.2.2 简化数学模型

1. 具体化间隔距离
   超平面的方程也可以写成一下形式：
   $$W^{T}x+b=0$$
   有了超平面的表达式之后之后，我们就可以计算样本点到平面的距离了。假设$(x_{11},x_{12},\cdots ,x_{1p})$为样本的中的一个点，其中$x_{1i}$表示为第$i$个特征变量。那么：
   • 该点到超平面的距离$distance$就可以用如下公式进行计算：
     $$\begin{gathered} distance(W,b,x_i)=\frac{\left|W^{T}x+b\right|}{\Vert W\Vert } \\ (可以参考初中知识点：点到直线距离d=\frac{\left|Ax+By+C\right|}{\sqrt{A^2+B^2}}) \end{gathered}$$
   • 则间隔$margin(W,b)$可以表达为：
     $$margin(W,b)=\underset{x_i}{\min }distance(W,b,x_i)=\underset{x_i}{\min }\frac{\left|W^T{x}_i+b\right|}{\Vert W\Vert },i=1,2,\cdots ,N$$
   • 因此最大间隔可以表达为：
     $$\underset{W,b}{\max }margin(W,b)=\underset{W,b}{\max }\underset{x_i}{\min }\frac{\left|W^T{x}_i+b\right|}{\Vert W\Vert }=\underset{W,b}{\max }\underset{x_i}{\min }\frac{y_i(W^T{x}_i+b)}{\Vert W\Vert },i=1,2,\cdots ,N$$
   • 求解支持向量机（公式(6.2.1)）就可以转化为以下带约束的优化问题：
     $$\{\begin{array}{c}\underset{W,b}{\max }\underset{x_i}{\min }\frac{y_i(W^T{x}_i+b)}{\Vert W\Vert },i=1,2,\cdots ,N\\ s.t.y_i(W^T{x}_i+b)>0,i=1,2,\cdots ,N\end{array}\text{\hspace{1em}(6.2.2)}$$
2. 优化间隔距离
   • 由于SVM为$判别模型$，令$\gamma =\underset{x_i}{\min }{y}_i(W^T{x}_i+b)$；由约束$y_i(W^T{x}_i+b)>0,i=1,2,\cdots ,N$则
     $$\gamma >0$$
   • 由于确定同一个超平面的$W,b$可以任意放缩，所以这里令$\gamma =1$。则：
     $$\begin{gathered} \underset{W,b}{\max }margin(W,b)=\underset{W,b}{\max }\underset{x_i}{\min }\frac{y_i(W^T{x}_i+b)}{\Vert W\Vert } \\ =\underset{W,b}{\max }\frac{1}{\Vert W\Vert }\underset{\gamma =1}{\underbrace{\underset{x_i}{\min }{y}_i(W^T{x}_i+b)}}=\underset{W,b}{\max }\frac{1}{\Vert W\Vert } \end{gathered}$$
   • $\underset{W,b}{\max }\frac{1}{\Vert W\Vert }$由求极大值变为求极小值。
     $$\underset{W,b}{\max }margin(W,b)=\underset{W,b}{\min }\frac{1}{2}{W}^{T}W;i=1,2,\cdots ,N$$
   • 则优化问题转化为：
     $$\{\begin{array}{c}\underset{W,b}{\min }\frac{1}{2}{W}^{T}W\\ s.t.y_i(W^T{x}_i+b)\ge 1,i=1,2,\cdots ,N\end{array}\text{\hspace{1em}(6.2.3)}$$
     这是一个带N个约束的凸优化问题。

6.3 硬间隔SVM-模型求解（对偶问题之引出）

6.3.1 拉格朗日和对偶问题

1. 构建拉格朗日函数
   根据数据 { ( x i , y i ) } i = 1 N ， x i ∈ R p ， y i ∈ { − 1 , + 1 } \{(x_i,y_i) \}^N_{i=1}，x_i \in \mathbb R^p， y_i \in \{ -1, +1 \} {(xi​,yi​)}i=1N​，xi​∈Rp，yi​∈{−1,+1}和凸问题的约束模型(公式(6.2.3)),使用拉格朗日乘子法来求解，构建拉格朗日函数：
   $$\begin{gathered} L(W,b,\lambda )=\frac{1}{2}{W}^{T}W+\sum _{i=1}^N{\lambda }_i(1-y_i(W^T{x}_i+b)) \\ \lambda ={\left(\begin{array}{cccc}{\lambda }_1& {\lambda }_2& \cdots & {\lambda }_N\end{array}\right)}^T \end{gathered}$$
   其中${\lambda }_i\ge 0$ (后面解释为什么 ${\lambda }_i$ 要大于等于$0$)，$1-y_i(W^T{x}_i+b)\le 0$。则凸问题的约束模型(公式(6.2.3))可以转换成以下优化问题：
   $$\{\begin{array}{c}\underset{W,b}{\min }\underset{\lambda }{\max }L(W,b,\lambda )=\frac{1}{2}{W}^{T}W+{\sum }_{i=1}^N{\lambda }_i(1-y_i(W^T{x}_i+b))\\ s.t.{\lambda }_i\ge 0,i=1,2,\cdots ,N\end{array}\text{\hspace{1em}(6.3.1)}$$
2. 有约束模型与无约束模型等价
   对于拉格朗日函数，令$\Delta =1-y_i(W^T{x}_i+b)$，则有：
   • 当$\Delta =1-y_i(W^T{x}_i+b)>0$时，由于${\lambda }_i\ge 0$，所以$\underset{\lambda }{\max }L(W,b,\lambda )=\infty$
   • 当$\Delta =1-y_i(W^T{x}_i+b)\le 0$时，由于${\lambda }_i\ge 0$，所以$\underset{\lambda }{\max }L(W,b,\lambda )=\frac{1}{2}{W}^{T}W$
     因此根据$\Delta$的情况，可以有两种结果，此时将其带入无约束模型中：$$\underset{W,b}{\min }\underset{\lambda }{\max }L(W,b,\lambda )=\underset{W,b}{\min }\left\{\frac{1}{2}{W}^{T}W,\infty \right\}=\frac{1}{2}{W}^{T}W$$
     这里巧妙的使用最小最大模型自动筛选出了$\Delta >0$ 的情况。
3. ${\lambda }_i\ge 0$的原因
   设问题是$x\in {\mathbb{R}}^2$
   $$\{\begin{array}{c}\underset{\alpha }{m}inf(x)\\ s.t.g(x)\le 0\end{array}$$
   • 假设$f(x)={x_1}^2+{x_2}^2$ and $g(x)={x_1}^2+{x_2}^2-1$。那这个时候可以很容易想到$f$的global minimum就是在$g(x)$的限制里， 如图在图的圆心处，这个时候调用拉格朗日函数，系数就是等于0的。
     
   • 假设$f(x)=(x_1-1.1{)}^2+(x_2-1.1{)}^2$ and $g(x)={x_1}^2+{x_2}^2-1$。这个时候f的最小值就被$feasibleregion$限制了，$KKTcondition$下面有一个步骤是需要对$g$和$f$取导数并且让他们平行，如
     $$-{\nabla }_{x}f(x)=\lambda {\nabla }_{x}g(x);\lambda >0$$
     那为什么这里要$\lambda >0$呢， 如下图所示，最小值会发生在$feasible;region$的边缘，而且会发生在 $-\Delta f$和$\Delta g$方向相同的点上。
     
4. 对偶关系
   $minmaxL$的对偶问题为$maxminL$,有以下结论：
   • 如果：
     $$minmaxL\ge maxminL$$
     可以简单地认为对于L先取最大，再从最大里面取最小就一定大于等于先取最小，再从最小里面取最大。$\min \max L$是指凤尾，大个里面挑小个，$\max \min L$是指鸡头，小个里面挑大个鸡头再厉害也只是鸡，不会变成凤的，因此凤尾大于等于鸡头，即$“凤尾”\ge “鸡头”$
   • 如果$minmaxL$是$凸优化$问题，则
     $$minmaxL=maxminL，为强对偶关系$$
   • 因此该优化问题可以继续转化：
     $$\{\begin{array}{c}\underset{\lambda }{\max }\underset{W,b}{\min }L(W,b,\lambda )=\frac{1}{2}{W}^{T}W+{\sum }_{i=1}^N{\lambda }_i(1-y_i(W^T{x}_i+b))\\ s.t.{\lambda }_i\ge 0,i=1,2,\cdots ,N\end{array}\text{\hspace{1em}(6.3.2)}$$

     该优化问题经历了以下转化过程：
     $$\begin{gathered} ①带约束优化问题\{\begin{array}{c}\underset{W,b}{\max }margin(W,b)=\underset{W,b}{\max }\underset{x_i}{\min }\frac{y_i(W^T{x}_i+b)}{\Vert W\Vert },i=1,2,\cdots ,N\\ s.t.y_i(W^T{x}_i+b)>0,i=1,2,\cdots ,N\end{array} \\ ②带约束优化问题\{\begin{array}{c}\underset{W,b}{\min }\frac{1}{2}{W}^{T}W\\ s.t.y_i(W^T{x}_i+b)\ge 1,i=1,2,\cdots ,N\end{array} \\ ③无约束优化问题\{\begin{array}{c}\underset{W,b}{\min }\underset{\lambda }{\max }L(W,b,\lambda )=\frac{1}{2}{W}^{T}W+{\sum }_{i=1}^N{\lambda }_i(1-y_i(W^T{x}_i+b))\\ s.t.{\lambda }_i\ge 0,i=1,2,\cdots ,N\end{array} \\ ④无约束优化问题\{\begin{array}{c}\underset{\lambda }{\max }\underset{W,b}{\min }L(W,b,\lambda )=\frac{1}{2}{W}^{T}W+{\sum }_{i=1}^N{\lambda }_i(1-y_i(W^T{x}_i+b))\\ s.t.{\lambda }_i\ge 0,i=1,2,\cdots ,N\end{array} \end{gathered}$$

6.3.2 模型求解

由公式(6.3.2)，
$$\{\begin{array}{c}\underset{\lambda }{\max }\underset{W,b}{\min }L(W,b,\lambda )=\frac{1}{2}{W}^{T}W+{\sum }_{i=1}^N{\lambda }_i(1-y_i(W^T{x}_i+b))\\ s.t.{\lambda }_i\ge 0,i=1,2,\cdots ,N\end{array}$$
对其进行求解

1. 对$b$求导
   $$\frac{\partial L}{\partial b}=\frac{\partial {\sum }_{i=1}^N{\lambda }_i-{\sum }_{i=1}^N{\lambda }_i{y}_i(W^T{x}_i+b)}{\partial b}=\frac{\partial -{\sum }_{i=1}^N{\lambda }_i{y}_{i}b}{\partial b}=-\sum _{i=1}^N{\lambda }_i{y}_i=0$$
   因此得出${\sum }_{i=1}^N{\lambda }_i{y}_i=0$

2. 求解$W$
   将上一步的结果代入$L(W,b,\lambda )$
   $$\begin{gathered} L(W,b,\lambda )=\frac{1}{2}{W}^{T}W+\sum _{i=1}^N{\lambda }_i-\sum _{i=1}^N{\lambda }_i{y}_i{W}^T{x}_i-\underset{=0}{\underbrace{\sum _{i=1}^N{\lambda }_i{y}_{i}b}} \\ =\frac{1}{2}{W}^{T}W+\sum _{i=1}^N{\lambda }_i-\sum _{i=1}^N{\lambda }_i{y}_i{W}^T{x}_i \\ \frac{\partial L}{\partial W}=W-\sum _{i=1}^N{\lambda }_i{y}_i{x}_i=0 \end{gathered}$$
   得出：$$W^{\ast }=\sum _{i=1}^N{\lambda }_i{y}_i{x}_i\text{\hspace{1em}(6.3.3)}$$
   这里我们可以看出$W^{\ast }$是数据的线性组合。

3. 得出$\underset{W,b}{\min }L(W,b,\lambda )$
   接着将$W^{\ast }$的结果代入$L(W,b,\lambda )$
   $$\begin{gathered} \underset{W,b}{\min }L(W,b,\lambda )=\frac{1}{2}(\sum _{i=1}^N{\lambda }_i{y}_i{x}_i{)}^T(\sum _{j=1}^N{\lambda }_j{y}_j{x}_j)+\sum _{i=1}^N{\lambda }_i-\sum _{i=1}^N{\lambda }_i{y}_i(\sum _{j=1}^N{\lambda }_j{y}_j{x}_j{)}^T{x}_i \\ =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_j^T{x}_i+\sum _{i=1}^N{\lambda }_i \\ =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _{i=1}^N{\lambda }_i \\ =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _{i=1}^N{\lambda }_i \end{gathered}$$
   因此该优化问题就相当于：
   $$\{\begin{array}{l}\underset{\lambda }{\max }-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j+{\sum }_{i=1}^N{\lambda }_i\\ s.t.{\lambda }_i\ge 0\\ {\sum }_{i=1}^N{\lambda }_i{y}_i=0\end{array}\text{\hspace{1em}(6.3.4)}$$

6.4 硬间隔SVM-模型求解（对偶问题之KKT条件）

上一节中使用到了对偶问题，这一节中会涉及到对偶问题中的KKT条件。

1. 已有结论
   • 目标函数
     $$\{\begin{array}{l}\underset{\lambda }{\max }-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j+{\sum }_{i=1}^N{\lambda }_i\\ s.t.{\lambda }_i\ge 0\\ {\sum }_{i=1}^N{\lambda }_i{y}_i=0\end{array}$$
     上节求$\min L(w,b,\lambda )$的结果
     $$\begin{gathered} \frac{\partial L}{\partial b}=0\Rightarrow \sum _{i=1}^N{\lambda }_i{y}_i=0 \\ \frac{\partial L}{\partial W}=0\Rightarrow W^{\ast }=\sum _{i=1}^N{\lambda }_i{y}_i{x}_i \end{gathered}$$
2. $KKT条件$
   • 首先定义该优化问题的KKT条件：
     $$\{\begin{array}{c}\frac{\partial L}{\partial W}=0,\frac{\partial L}{\partial b}=0\\ {\lambda }_i(1-y_i(W^T{x}_i+b))=0\\ {\lambda }_i\ge 0\\ 1-y_i(W^T{x}_i+b)\le 0\end{array}\text{\hspace{1em}(6.4.1)}$$
     该优化问题满足上述KKT条件，这是由于以下定理：
     $$原问题、对偶问题具有强对偶关系\iff 满足KKT条件$$
   • $松弛互补条件$
     KKT条件中${\lambda }_i(1-y_i(w^T{x}_i+b))=0$叫松弛互补条件，即${\lambda }_i$和$1-y_i(w^T{x}_i+b)$总有一个为0。
     • 只有支持向量对应的${\lambda }_i$才可能有值$({\lambda }_i\ne 0)$，
     • 其他不在$w\cdot x+b=1$和$w\cdot x+b=-1$上的样本点对应的${\lambda }_i=0$。
       
3. 求解$\lambda$
   我们通过求解下式求解$\lambda$
   $$\{\begin{array}{l}\underset{\lambda }{\max }-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j+{\sum }_{i=1}^N{\lambda }_i\\ s.t.{\lambda }_i\ge 0\\ {\sum }_{i=1}^N{\lambda }_i{y}_i=0\end{array}$$
   • 带入所有数据点，通过约束条件代换，并且令偏导数为$0$，可以很容易求出 ${\lambda }_i$(若 ${\lambda }_i$为负数，则需要寻找边界点，即${\lambda }_i=0$，寻找到最值）。这个过程也是支持向量机算法计算量最大的地方！
   • 最终通过 ${\lambda }_i$是否为$0$，便可知道哪些点是支持向量，进而求出$w^{\ast },b^{\ast }$.
4. 求解$b^{\ast }$
   因为$\exists (x_i,y_i),s.t.1-y_i(W^T{x}_i+b)=0$，则：
   $$\begin{gathered} y_k(W^T{x}_k+b)=1 \\ {y}_k^2(W^T{x}_k+b)=y_k \end{gathered}$$
   由于$y_k^2=1$，则：
   $$\begin{gathered} y_k^2(W^T{x}_k+b)=y_k \\ (W^T{x}_k+b)=y_k \\ {b}^{\ast }=y_k-W^{T}x \end{gathered}$$
   把$W^{\ast }={\sum }_{i=1}^N{\lambda }_i{y}_i{x}_i$代入$b^{\ast }$得：
   $$b^{\ast }=y_k-\sum _{i=1}^N{\lambda }_i{y}_i{x}_i^T{x}_k\text{\hspace{1em}(6.4.2)}$$

由此可知分类决策函数$f(x)=sign(W^{\ast T}x+b^{\ast })$，超平面为 $W^{\ast T}x+b^{\ast }$。

由于只有在支持向量上才有${\lambda }_i\ne 0$，因此可以看出，$W^{\ast },b^{\ast }$的值只和支持向量有关。

---

6.5 软间隔SVM-模型定义

6.5.1 概述

1. 定义
   上几节硬间隔SVM的前提条件是数据$线性可分$，在真实数据中，包含了很多噪声的数据线性不可分。如图：
   因此需要引入软间隔SVM（Soft-Margin SVM），其主要思想是：$允许一点点错误$。
2. 数学模型
   目标函数用增加一个损失函数来表示，用数学形式表示为：
   $$\underset{W,b}{\min }\frac{1}{2}{W}^{T}W+loss$$
3. Loss函数
   $Loss$函数有两种方式：
   • 使用指示函数
     即使用误分类点的个数作为$Loss$：
     $$Loss=\sum _{i=1}^{N}I\left\{y_i(W^T{x}_i+b)<1\right\}$$

     其中$I$为指示函数，若其中内容为真则返回$1$，否则返回$0$。$Loss$函数是不连续的，是跳跃的，其数学性质不好。

   • 使用距离来表示
     { 如 果 y i ( W T x i + b ) ≥ 1 , L o s s = 0 如 果 y i ( W T x i + b ) < 1 , L o s s = 1 − y i ( W T x i + b ) \left.\right\{\begin{matrix} 如果y_{i}(W^{T}x_{i}+b)\geq 1,Loss=0\\ 如果y_{i}(W^{T}x_{i}+b)< 1,Loss=1-y_{i}(W^{T}x_{i}+b) \end{matrix} {如果yi​(WTxi​+b)≥1,Loss=0如果yi​(WTxi​+b)<1,Loss=1−yi​(WTxi​+b)​
     因此可以将$Loss$表示为：$$Loss=max\left\{0,1-y_i(W^T{x}_i+b)\right\}\text{\hspace{1em}(6.5.1)}$$
     该函数为合页损失函数（hinge loss），令$z=y_i(W^T{x}_i+b)$，则$Loss$对$z$的图像如下：
     

6.5.2 模型定义

1. 模型定义
   我们选择距离来表示$Loss$，则软间隔SVM的优化问题可以写成：
   $$\{\begin{array}{c}\underset{w,b}{\min }\frac{1}{2}{w}^{T}w+C{\sum }_{i=1}^{N}max\left\{0,1-y_i(w^T{x}_i+b)\right\}\\ s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,\cdots ,N\end{array}\text{\hspace{1em}(6.5.2)}$$

   其中$C$为超参数。

2. 模型优化
   引入${\xi }_i=1-y_i(w^T{x}_i+b),{\xi }_i\ge 0,i=1,2,\cdots ,N$，则该优化问题转化为：
   $$\{\begin{array}{c}\underset{w,b}{\min }\frac{1}{2}{w}^{T}w+C{\sum }_{i=1}^N{\xi }_i\\ s.t.y_i(w^T{x}_i+b)\ge 1-{\xi }_i,i=1,2,\cdots ,N\end{array}\text{\hspace{1em}(6.5.3)}$$

   上面的式子中，常数$C$可以看作允许的错误⽔平，同时上式为了进⼀步消除$max$符号，对数据集中的每⼀个观测，对数据集中的每⼀个观测，我们可以认为其⼤部分满⾜约束，但是其中部分违反约束，因此这部分约束变成$y_i(w^T{x}_i+b)\ge 1-{\xi }_i$。

3. 约束条件改变的解释
   
   如图所示，圆圈类别支持向量上的虚线是 $w^{T}x+b=1$ ，假设其间隔带中有点，其所处超平面为 $y_i(w^T{x}_i+b)$ , 即 $1-{\xi }_i$ ，那么此超平面与支持向量的超平面距离便为 ${\xi }_i$ ，所以需要对约束函数进行改变，以致于每一个点的约束位置不同。
   • 硬间隔中分隔的点的约束条件依然为 $\ge 1$ ，因为 $y_i(w^T{x}_i+b)\ge 1$ ，所以 $1-y_i(w^T{x}_i+b)\le 0$ ，所以 ${\xi }_i=0$ 。
   • 软间隔而允许在间隔带内可以犯错的数据点，其约束函数便是 $y_i(w^T{x}_i+b)\ge 1-{\xi }_i$ ，超平面为 $y_i(w^T{x}_i+b)$ , 即 $1-{\xi }_i$。

软间隔SVM也是使用拉格朗日乘子法进行求解。可以参考看了这篇文章你还不懂SVM你就来打我。

6.6 总结

6.6.1 SVM优缺点

任何算法都有其优缺点，支持向量机也不例外。

• 支持向量机的优点是:

  1. 由于SVM是一个凸优化问题，所以求得的解一定是全局最优而不是局部最优。
  2. 不仅适用于线性线性问题还适用于非线性问题(用核技巧)。
  3. 拥有高维样本空间的数据也能用SVM，这是因为数据集的复杂度只取决于支持向量而不是数据集的维度，这在某种意义上避免了“维数灾难”。
  4. 理论基础比较完善(例如神经网络就更像一个黑盒子)。

• 支持向量机的缺点是:

  1. 二次规划问题求解将涉及m阶矩阵的计算(m为样本的个数), 因此SVM不适用于超大数据集。(SMO算法可以缓解这个问题)
  2. 只适用于二分类问题。(SVM的推广SVR也适用于回归问题；可以通过多个SVM的组合来解决多分类问题)

6.6.2 SVM调参经验

SVM很适合做分类任务，但是如果刚开始接触SVM而不知道如何进行合理的参数选择的话可能得不到满意的结果。下面简介运用SVM的基本步骤，或者说调参经验。

主要参考:

Hsu C W, Chang C C, Lin C J. A practical guide to support vector classification[J]. 2003.

1. 将原始数据转换为SVM算法期待的格式；
2. 将数据进行scaling(很重要)；
3. 一般考虑用高斯核RBF(如果特征维度太高，建议直接用线性SVM)；
4. 交叉验证寻找最优的RBF的参数以及参数 C ;
5. 用上面找到的最优参数在整个训练集上训练。

参考

1. 看了这篇文章你还不懂SVM你就来打我
2. 机器学习-白板推导系列(六)-支持向量机SVM（Support Vector Machine）笔记
3. 支持向量机|机器学习推导系列（七）
4. 支持向量机(SVM)原理详解