机器学习SVM（1-5）

支持向量机（SVM）的思想是在特征空间中寻找最优的超平面，将不同类别的样本分开，并且使得超平面到最近的样本点的距离最大化。

由于博客限制字数，本文章的下篇在这里一文看懂SVM（6-10）

1 . SVM分类的基本思想

1.1 线性分类器

在上面这一张图片中，我们欲选择一条直线来将两类样本分开，我们选择哪一条直线最合适呢，这就引出了我们今天所要讲的SVM，根据我们的直觉，我们选出来的这条直线到正负样本点的距离越大，则说明我们选的直线就越好。

1.2 支撑平面和支撑向量

我们需要找到这样一个距离（margin）并且使它距离两个类别的最近样本最远，SVM 就是尝试寻找一个最优的决策边界，这个决策边界叫做支撑平面，而落在支撑平面上面的样本点我们叫做支撑向量，那么我们要求得最大的margin，就要先把他表示出来。

1.3 margin的表示及目标函数

SVM 想要的就是找到各类样本点到超平面的距离最远，也就是找到最大间隔超平面。任意超平面可以用下面这个线性方程来描述：
$$w_1{x}_1+w_2{x}_2+\cdot \cdot \cdot +b=0$$
我们分别在两个正负超平面上面选取两个点m，n，则正负超平面的表示为：
$$w_1{X}_{1m}+w_2{X}_{2m}+b=1$$

$$w_1{X}_{1n}+w_2{X}_{2n}+b=-1$$

上面两个式子相减得到
$$w_1\left(x_{1m}-x_{1n}\right)+w_2\left(x_{2m}-x_{2n}\right)=2$$
变形得到
$$\vec{w}\cdot \left({\vec{x}}_m-{\vec{x}}_n\right)=2\text{\hspace{1em}(1)}$$

然后再在决策超平面上面选取两个点p，o
$$w_1{X}_{1o}+w_2{X}_{2o}+b=0$$

$$w_1{X}_{1p}+w_2{X}_{2p}+b=0$$

上面两个式子相减得到
$$w_1\left(x_{1o}-x_{1p}\right)+w_2\left(x_{2o}-x_{2p}\right)=0$$
变形得到
$$\vec{w}\cdot \left({\vec{x}}_o-{\vec{x}}_p\right)=0\text{\hspace{1em}(2)}$$
两个向量点乘为0，说明两向量垂直，如图：

也就是说w向量与决策超平面垂直，我们回到公式(1)，则可以得到
$$\Vert {\vec{x}}_m-{\vec{x}}_n\Vert \ast \cos \Theta \ast \Vert \vec{w}\Vert =2\text{\hspace{1em}(3)}$$
而由图片一可以得到
$$\Vert {\vec{x}}_m-{\vec{x}}_n\Vert \ast \cos \Theta =L\text{\hspace{1em}(4)}$$
由公式3和4可以得到
$$L\ast \Vert \vec{w}\Vert =2$$
所以
$$L=\frac{2}{\Vert \vec{w}\Vert }$$
L就是我们所要求的margin.

其中
$$\Vert w\Vert =\sqrt{{\left(w_1\right)}^2+...+{\left(w_n\right)}^2}$$
为了方便计算不妨我们把根号去掉也就得到了
$$\max L=\frac{2}{{\Vert \vec{w}\Vert }^2}$$
等同于我们要求的目标函数为
$$\min \frac{{\Vert \vec{w}\Vert }^2}{2}\text{\hspace{1em}(一)}$$

1.4 SVM的约束条件

在正超平面的之外的点(绿点)都属于正类y=1，在负超平面的之外的点(黄点)都属于负类y=-1，所以
$$\{\begin{array}{ll}{y}_i=1& \left(5\right)\\ \vec{w}\cdot {\vec{x}}_i+b⩾1& \left(6\right)\end{array}$$
（5）（6）得
$$y_i\ast \left({\vec{w}}_i\cdot {\vec{x}}_i+b\right)⩾1\text{\hspace{1em}(7)}$$
同理可得
$$\{\begin{array}{ll}{y}_i=-1& \left(8\right)\\ \vec{w}\cdot {\vec{x}}_i+b⩽-1& \left(9\right)\end{array}$$
（8）（9）得
$$y_i\ast \left({\vec{w}}_i\cdot {\vec{x}}_i+b\right)⩾1\text{\hspace{1em}(10)}$$
综上 (7)和(10)得到约束条件
$$y_i\ast \left({\vec{w}}_i\cdot {\vec{x}}_i+b\right)⩾1\text{\hspace{1em}(二)}$$

1.5 最优化问题

有了目标函数（一）和约束条件（二），我们就得到了最优化问题即
$$\min \frac{{\Vert \vec{w}\Vert }^2}{2}s.t.y_i\ast \left({\vec{w}}_i\cdot {\vec{x}}_i+b\right)⩾1$$
在这个优化问题中我们要求的参数为w和b

2 . 构造拉格朗日乘数法

2.1 等式约束优化

之前我们使用拉格朗日乘数法是解决等式约束优化问题：
$$\min f\left(x_1,x_2,...x_n\right)$$

$$s.t.h_k\left(x_1,x_2,...x_l\right)=0k=1,2,...l$$

我们可以得到$L\left(x,\lambda \right)=f\left(x\right)+{\sum }_{k=1}^l{\lambda }_{k}h\left(x_k\right)$，函数L称之为 Lagrange 函数，参数 $\lambda$称为 Lagrange 乘子，没有非负要求。一般情况下对各参数求导找到极值点即：
$$\{\begin{array}{ll}\frac{\partial L\left(x,\lambda \right)}{\partial x_i}=0i=1,2,...n& \\ \frac{\partial L\left(x,\lambda \right)}{\partial {\lambda }_i}=0i=1,2,...l& \end{array}$$
具体是否为极值点需根据问题本身的具体情况检验。这个方程组称为等式约束的极值必要条件。

等式约束下的 Lagrange 乘数法引入了 l个 Lagrange 乘子，我们将 x与$\lambda$ 一视同仁，把 $\lambda$ 也看作优化变量，共有 (n+l) 个优化变量。

2.2不等式约束优化

而我们现在面对的是不等式优化问题，针对这种情况其主要思想是将不等式约束条件转变为等式约束条件，引入松弛变量，将松弛变量也视为优化变量。

这里我们直接以上述目标函数（一）及约束条件（二）为例来说明
$$\begin{gathered} f(w)=\min \frac{{\Vert \vec{w}\Vert }^2}{2}s.t.y_i\ast \left({\vec{w}}_i\cdot {\vec{x}}_i+b\right)⩾1 \\ i=1,2,...n(n为样本个数) \end{gathered}$$
可以看到我们的约束条件是一个不等式，那么如何将不等式约束转化为等式等式约束呢？我们引入了松弛变量 $p^2$，我们的约束条件也变为了

$$\begin{gathered} s.t.g\left(w,b\right)=y_i\ast \left({\vec{w}}_i\cdot {\vec{x}}_i+b\right)-1=p^2 \\ i=1,2,...,n(n为样本个数) \end{gathered}$$
所以拉格朗日函数变为
$$\begin{gathered} L\left(w,b,{\lambda }_i,p_i\right)=\frac{\Vert w{\Vert }^2}{2}+\sum _{i=1}^n{\lambda }_i\ast \left[p_i^2-y_i\ast \left(\vec{w}\cdot {\vec{x}}_i+b\right)+1\right] \\ i=1,2,...,n\left(n为样本个数\right) \\ 其中{\lambda }_i>=0 \end{gathered}$$
其中，值得注意的是，这里的${\lambda }_i$应该是>=0的，为什么呢？下面将会讲解

这里令$g\left(x\right)=p_i^2-y_i\ast \left(\vec{w}\cdot {\vec{x}}_i+b\right)+1$，这里保证g(x)<=0，这里可能看起来有一些别扭。

为了求上述方程的极值，我们分别对w，b，$\lambda$，p求偏导得到
$$\frac{\partial L}{\partial w}=0，\frac{\partial L}{\partial b}=0，\frac{\partial L}{\partial {\lambda }_i}=0，\frac{\partial L}{\partial p_i}=0$$

$$\vec{w}-\sum _{i=1}^n{\lambda }_i{y}_i{x}_i=0\text{\hspace{1em}(1)}$$

$$-\sum _{i=1}^n{\lambda }_i{y}_i=0\text{\hspace{1em}(2)}$$

$$1+p_i^2-y_i\ast \left({\vec{w}}_i\cdot {\vec{x}}_i+b\right)=0\text{\hspace{1em}(3)}$$

$$2{\lambda }_i{p}_i=0\text{\hspace{1em}(4)}$$

将公式(4)变形得到 ${\lambda }_i{p}_i^2=0$ (5)

将公式(3)等式左右两边同时乘以$\lambda$得到
$${\lambda }_i\ast \left[y_i\ast \left({\vec{w}}_i\cdot {\vec{x}}_i+b\right)-1\right]-\lambda p_i^2=0\text{\hspace{1em}(6)}$$
将等式(5)带入到等式(6)中得到新的等式4
$${\lambda }_i\ast \left[y_i\ast \left({\vec{w}}_i\cdot {\vec{x}}_i+b\right)-1\right]=0\text{\hspace{1em}(new 4)}$$

根据约束条件（二）得知$y_i\ast \left({\vec{w}}_i\cdot {\vec{x}}_i+b\right)-1>=0$，若要想使等式（new 4）成立则，有两种可能，现在分别讨论。

第一种：$y_i\ast \left({\vec{w}}_i\cdot {\vec{x}}_i+b\right)-1>0$，${\lambda }_i=0$

第二种：$y_i\ast \left({\vec{w}}_i\cdot {\vec{x}}_i+b\right)-1=0$，${\lambda }_i!=0$

对于第一种情况可以得知，对应的样本点不在正负超平面上面，此时的${\lambda }_i$必须等于0

对于第二种情况可以得知，对应的样本点在正负超平面上面，此时的${\lambda }_i$ 可以不等于0

在不等于0 的情况下，是大于0还是小于0呢？

现在假设样本点违反约束条件（二），也就是 $y_i\ast \left({\vec{w}}_i\cdot {\vec{x}}_i+b\right)-1<0$ ，则 $p_i^2-y_i\ast \left(\vec{w}\cdot {\vec{x}}_i+b\right)+1>=0$，此时若${\lambda }_i<0$，则整个拉格朗日函数将趋于无穷小，这相当于鼓励样本点违反约束条件而使拉格朗日方程获得更小值解，导致拉格朗日方程的最终结果与目标函数之间的差距越来越大，这显然不是我们的目的，所以综上${\lambda }_i>0$

综上 $\lambda >=0$。

2.3 SVM的kkt条件

现在基本把kkt条件讲完了，（关于kkt条件具体是怎么来的这里不详细解释）现在来整理一下：
$$\vec{w}-\sum _{i=1}^n{\lambda }_i{y}_i{x}_i=0\text{\hspace{1em}(I)}$$

$$-\sum _{i=1}^n{\lambda }_i{y}_i=0\text{\hspace{1em}(II)}$$

$$y_i\ast \left({\vec{w}}_i\cdot {\vec{x}}_i+b\right)⩾1\text{\hspace{1em}(III)}$$

$${\lambda }_i\ast \left[y_i\ast \left({\vec{w}}_i\cdot {\vec{x}}_i+b\right)-1\right]=0\text{\hspace{1em}(IV)}$$

$${\lambda }_i>=0\text{\hspace{1em}(V)}$$

公式(I)是对w求导得到的，公式(II)是对b求导得到的，公式(III)是约束条件，公式(IV)是之前分别对${\lambda }_i$和$p_i$求导，然后变形得到的,公式(V)是上面讨论得到的。

我们通过上面的kkt条件，可以发现什么呢，支撑向量 $y_i\ast \left({\vec{w}}_i\cdot {\vec{x}}_i+b\right)-1=0$，此时${\lambda }_i$>0即可，而其他向量$y_i\ast \left({\vec{w}}_i\cdot {\vec{x}}_i+b\right)-1>0$,此时${\lambda }_i$=0，我们的原目标 函数是为了求解$\min \frac{{\Vert \vec{w}\Vert }^2}{2}$，即求min$L\left(w,b,{\lambda }_i,p_i\right)$，现在假设找到了最佳参数${\lambda }_i$使得目标函数取得最小值q，即$\frac{{\Vert \vec{w}\Vert }^2}{2}$=q，由拉格朗日公式
$$\begin{gathered} L\left(w,b,{\lambda }_i,p_i\right)=\frac{\Vert w{\Vert }^2}{2}+\sum _{i=1}^n{\lambda }_i\ast \left[p_i^2-y_i\ast \left(\vec{w}\cdot {\vec{x}}_i+b\right)+1\right] \\ i=1,2,...,n\left(n为样本个数\right) \end{gathered}$$
由于${\sum }_{i=1}^n{\lambda }_i\ast p_i^2>=0$，为求得min L，我们令p=0，故我们将问题转化为
$$\begin{gathered} L\left(w,b,{\lambda }_i,p_i\right)=\frac{\Vert w{\Vert }^2}{2}+\sum _{i=1}^n{\lambda }_i\ast \left[-y_i\ast \left(\vec{w}\cdot {\vec{x}}_i+b\right)+1\right] \\ i=1,2,...,n\left(n为样本个数\right)\text{\hspace{1em}(VI)} \end{gathered}$$
等价于
$$\begin{gathered} L\left(w,b,{\lambda }_i,p_i\right)=\frac{\Vert w{\Vert }^2}{2}-\sum _{i=1}^n{\lambda }_i\ast \left[y_i\ast \left(\vec{w}\cdot {\vec{x}}_i+b\right)-1\right] \\ i=1,2,...,n\left(n为样本个数\right)\text{\hspace{1em}(VII)} \end{gathered}$$
由kkt条件(V)得知，${\sum }_{i=1}^n{\lambda }_i\ast \left(-y_i\ast \left(\vec{w}\cdot {\vec{x}}_i+b\right)+1\right)$<=0,所以$L\left(w,b,{\lambda }_i,p_i\right)$ <=q，我们的目的是找到最优的参数$\lambda$使得拉格朗日函数的结果尽可能等于q，即目标转化为 $\underset{\max \lambda }{L\left(w,b,\lambda ,x\right)}$<=q。

3.对偶问题

3.1拉格朗日对偶问题

先回顾一下我们的原问题即
$$p^{\ast }=\underset{w,b}{\min }{\theta }_p\left(x\right)=\underset{w,b}{\min }\underset{\lambda }{\max }L\left(w,b,\lambda ,x\right)$$
其中
$${\theta }_p\left(x\right)=\underset{\lambda }{\max }L\left(w,b,\lambda ,x\right)=\frac{1}{2}\Vert w{\Vert }^2$$
上面的式子是先对拉格朗日函数求最大值（对$\lambda$）再求最小值对(w,b)

其对偶问题是
$$d^{\ast }=\underset{\lambda }{\max }{\theta }_d\left(\lambda \right)=\underset{\lambda }{\max }\underset{w,b}{\min }L\left(w,b,\lambda ,x\right)$$
其中
$${\theta }_d\left(\lambda \right)=\underset{w,b}{\min }L\left(w,b,\lambda ,x\right)$$
上面的式子是先对拉格朗日函数求最小值（对w,b）再求最大值对($\lambda$)

3.2为什么引入对偶问题而不直接求解呢

因为原始优化的目标函数f(x)的优化（原问题的求解），不一定是凸优化问题，因此求导等于0有可能是局部最优解；但是对偶问题的目标函数$\theta \left(\lambda \right)$,的优化，属于凸优化，解具有唯一性。（关于凸函数优化这里不详细讲）

4.利用拉格朗日对偶求解SVM参数

这里把参数$\lambda$换成了$\alpha$，因为我想用我老师PPT上面的图片，写公式实在是太累了

对偶问题：$d^{\ast }={\max }_{\alpha }{\theta }_d\left(\lambda \right)=\underset{\alpha }{\max }\underset{w,b}{\min }L\left(w,b,\alpha ,x\right)$=${\max }_{\alpha }{\theta }_d\left(\alpha \right)=\underset{\alpha }{\max }\underset{w,b}{\min }\left[\frac{\Vert w{\Vert }^2}{2}+{\sum }_{i=1}^n{\alpha }_i\ast \left[-y_i\ast \left(\vec{w}\cdot {\vec{x}}_i+b\right)+1\right]\right]$

首先对模型求导
$$\frac{\partial L}{\partial w}=0，\frac{\partial L}{\partial b}=0$$
得到：

$$\begin{gathered} \vec{w}-\sum _{i=1}^n{\alpha }_i{y}_i{x}_i=0 \\ -\sum _{i=1}^n{\alpha }_i{y}_i=0 \end{gathered}$$

可得到：
$$\begin{gathered} w^{\ast }=\sum _{i=1}^n{\alpha }^i{y}^i{x}^i \\ \sum _{i=1}^n{\alpha }^i{y}^i=0 \end{gathered}$$
将上述化简结果带入到对偶问题当中可以求解，推导过程如下：

现在我们得到了${\theta }_d\left(\alpha \right)$，即下一步应该求解${\max }_{\alpha }{\theta }_d\left(\alpha \right)$，即转化为：
$$\underset{\alpha }{\max }\left[\sum _{j=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)\right]$$

$$s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0,{\alpha }_i>=0$$

我们可以看出来这是一个二次规划问题，问题规模正比于训练样本数，我们常用 SMO(Sequential Minimal Optimization) 算法求解。

SMO(Sequential Minimal Optimization)，序列最小优化算法，其核心思想非常简单：每次只优化一个参数，其他参数先固定住，仅求当前这个优化参数的极值。我们来看一下 SMO 算法在 SVM 中的应用。（SMO会在第七部分讲解，这里先算到这里）

5.soft SVM

5.1 解决实际问题

现实中，很难确定合适的核函数使得训练样本在特征空间中线性可分，同时一个线性可分的结果也很难断定是否是有过拟合造成的，所以引入“软间隔”的概念，允许支持向量机在一些样本上不满足约束.但请注意，我们的正负超平面与hard SVM相同。

5.2优化目标以及求解

增加软间隔之后我们的优化目标变为
$$\underset{w}{\min }\left(\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m{\xi }_i\right)，C>=0$$

$$\begin{gathered} s.t.y_i\ast \left(w^T\cdot x_i+b\right)>=1-{\xi }_i, \\ {\xi }_i>=0 \\ i=1,2,...,m \end{gathered}$$

最小目标函数的含义：在使得支撑平面间隔最大的同时，也希望使得错分点到其真实支撑平面的距离越小

显然现在是对$\frac{1}{2}\Vert w{\Vert }^2+C{\sum }_{i=1}^m{\xi }_i$，这个整体求最小值，根据实际的意义，我们会发现当w越小，正负超平面之间的距离（margin）就会越大，而margin越大，样本错分的概率就越大，${\xi }_i$就会越大，相反，当w越大，正负超平面之间的距离（margin）就会越小，而margin越小，样本错分的概率就越小，${\xi }_i$就会越小，显然w和，${\xi }_i$是相互制约的，我们需要找到一个平衡位置，使得两者之和达到最小，这就是新的优化问题。

其中C是一个大于0的常数，可以理解为错误样本的惩罚程度，若C为无穷大，$\xi$必然无穷小，如此一来soft SVM就又变成了线性可分SVM;当C为有限值的时候，才会允许部分样本不遵循约束条件

构造拉格朗日函数：
$$\underset{w,b,\xi }{\min }\underset{\alpha ,\beta }{\max }L\left(b,w,\xi ,\alpha ,\beta \right)=\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^n{\xi }_i+\sum _{i=1}^n{\alpha }_i\left(1-{\xi }_i-y_i\left(w^T\cdot x_i+b\right)\right)+\sum _{i=1}^n{\beta }_i\left(-{\xi }_i\right)\text{\hspace{1em}(1)}$$
有同学可能会有疑惑，为什么这里${\xi }_i$前面要加负号，因为我们要保证这里小于等于0，同理 $1-{\xi }_i-y_i\left(w^T\cdot x_i+b\right)$也是小于等于0的，因为${\xi }_i$本身是大于等于0的，所以要在其前面加一个负号。

根据强对偶性，转化为对偶问题，
$$\underset{\alpha ,\beta }{\max }\underset{w,b,\xi }{\min }L\left(b,w,\xi ,\alpha ,\beta \right)\text{\hspace{1em}(2)}$$
对${\xi }_i$求导得到:

$$C-{\alpha }_i-{\beta }_i=0$$
则得到
$${\beta }_i=C-{\alpha }_i\text{\hspace{1em}(3)}$$
将公式(3)带入公式(2)中得到
$$\underset{\alpha ,\beta }{\max }\underset{w,b}{\min }L\left(b,w,\xi ,\alpha ,\beta \right)=\frac{1}{2}\Vert w{\Vert }^2+\sum _{i=1}^n{\alpha }_i\left(1-y_i\left(w^T\cdot x_i+b\right)\right)\text{\hspace{1em}(4)}$$
然后对公式(4)中的w和b求导得到
$$\frac{\partial L}{\partial w}=0，\frac{\partial L}{\partial b}=0$$

$$\begin{gathered} \vec{w}-\sum _{i=1}^n{\alpha }_i{y}_i{x}_i=0 \\ -\sum _{i=1}^n{\alpha }_i{y}_i=0\text{\hspace{1em}(5)} \end{gathered}$$

将等式(5)中的关系带入到对偶方程当中得到：
$$\begin{gathered} \underset{\alpha }{\max }\left[\sum _{j=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)\right] \\ s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0,0<={\alpha }_i<=C \end{gathered}$$
利用SMO算法就可以求解$\alpha$

5.3 损失的表示

$$\underset{w}{\min }\left(\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m{\xi }_i\right)，C>=0$$

其中$\xi$的值可以由0/1损失计算，或者用0/1损失的替代损失来计算

5.3.1 0/1损失

$$\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m{l}_{0/1}\left(y_i\left(w^T\varphi \left(x_i\right)+b\right)-1\right)$$

令$z(x)=y_i\left(w^T\varphi \left(x_i\right)+b\right)-1$,则：

0/1损失函数为：
$$\{\begin{array}{ll}1& ifz(x)<0\\ 0& otherwise\end{array}$$
存在的问题就是0/1损失函数非凸，非连续，不易优化。

5.3.2 0/1损失的替代损失

分别是
$$\begin{gathered} l_{\exp }\left(z\right)=\exp \left(-z\right) \\ {l}_{\log }\left(z\right)=\log \left(1+\exp \left(-z\right)\right) \\ {l}_{hinge}\left(z\right)=\max \left(0,1-z\right) \end{gathered}$$
如下图

这些替代损失的数学性质比较好，一般都是0/1损失的上界。

5.4 与SVM 比较

在结果上面，求到这里之后会发现soft SVM与hard SVM的结果一样只是这里的参数${\alpha }_i$不仅要大于等于0而且要小于等于C

这里我们定义了一个惩罚系数，也就是$\underset{w}{\min }\left(\frac{1}{2}\Vert w{\Vert }^2+C{\sum }_{i=1}^m{\xi }_i\right)$当中的C，其中C>=0，C的实际意义为：对样本损失值${\xi }_i$的容忍度，C越大，若想要使最终的函数越小，就必须使得${\xi }_i$小，也就是说对损失值得容忍度小，换言之，这是一个很严格的分类，反之C越小，反而对${\xi }_i$的大小没有太严格，这就是一个对样本数据不严格的分类。当C趋于正无穷大时，$\xi$就会趋于0，这时候优化问题就变成了hard SVM了。

5.5 soft SVM 的 kkt 条件

$$\vec{w}-\sum _{i=1}^n{\alpha }_i{y}_i{x}_i=0\text{\hspace{1em}(I)}$$

$$-\sum _{i=1}^n{\alpha }_i{y}_i=0\text{\hspace{1em}(II)}$$

$$y_i\ast \left({\vec{w}}_i\cdot {\vec{x}}_i+b\right)⩾1-{\xi }_i\text{\hspace{1em}(III)}$$

$${\alpha }_i\ast \left[1-{\xi }_i-y_i\ast \left({\vec{w}}_i\cdot {\vec{x}}_i+b\right)\right]=0\text{\hspace{1em}(IV)}$$

$$0=<{\alpha }_i<=C\text{\hspace{1em}(V)}$$

$${\beta }_i{\xi }_i=0\text{\hspace{1em}(VI)}$$

以上就是soft SVM的kkt条件，基本上和hard SVM差不多

5.6 $\alpha$与$\xi$ 与样本点所在位置的关系

由公式(VI)和公式(3)可得
$$(C-{\alpha }_i){\xi }_i=0\text{\hspace{1em}(VII)}$$
当${\alpha }_i$=0，由公式(VII)得，${\xi }_i$=0，由公式(IV)得， $1-{\xi }_i-y_i\ast \left({\vec{w}}_i\cdot {\vec{x}}_i+b\right)$ <=0，则$y_i\ast \left({\vec{w}}_i\cdot {\vec{x}}_i+b\right)>=1-{\xi }_i$。样本点落在正负超平面的外面，代表着分类正确的样本点

当${\alpha }_i$=C，由公式(VII)得，${\xi }_i$可以不为0，由公式(IV)得， $1-{\xi }_i-y_i\ast \left({\vec{w}}_i\cdot {\vec{x}}_i+b\right)$ =0，则$y_i\ast \left({\vec{w}}_i\cdot {\vec{x}}_i+b\right)=1-{\xi }_i$，代表着样本点落在正负超平面之内，代表着分类错误的样本点

当0<${\alpha }_i$<C，由公式(VII)得，${\xi }_i$=0，由公式(IV)得$y_i\ast \left({\vec{w}}_i\cdot {\vec{x}}_i+b\right)=1$，代表落在了正负超平面之上。

注：上面所说的正负超平面表达式与样本标签的关系为$y_i\ast \left({\vec{w}}_i\cdot {\vec{x}}_i+b\right)=1$。(soft SVM那里也说过)

由于博客限制字数，本文章的下篇在这里一文看懂SVM（6-10）