杠精的机器学习（三）：支持向量机(SVM)

1. 主要参考资料为《小象学院-机器学习IV》 李航的统计学习方法 台湾大学李宏毅老师的机器学习视频（BiliBili有免费资源）
2. 所有内容，都是基于自己的理解，看官老爷们如果觉得哪里不对，那可能就是不对。

1.逻辑回归的缺点

  在上一篇博客中，我详细介绍了逻辑回归，在面试中，经常会被问到这样一个问题，逻辑回归与SVM有什么区别？所以，在写完逻辑回归之后，我打算梳理一下SVM。那这篇博客，就从回答这个面试题开始吧。
  虽然逻辑回归(Logistic Regression，LR)理论很简单，但它被广泛用于各种现实任务，特别是在电商公司。在数据挖掘领域，流传着这样一句话，一个逻辑回归打天下，这是LR的优点。
  LR的缺点是，在小样本上，泛化能力较弱。怎么解释呢？简单来说，逻辑回归的目标是找到一条直线（或者曲线，或者超平面，为了简单，下文只用直线举例）将样本分为两类，但是这条直线也就仅仅考虑将样本分为两类，却忽略了怎么分能得到更好的泛化性能，如图1.1。在图1.1中，有红色，蓝色两类样本，使用LR分类的话，可能会得到L1或者L2作为分类直线。在训练集上，这两条直线都能表现得很好，但是，一旦出现比较极端的样本，例如点a、b，就会被分错，这种情况在训练样本较少的情况下，会愈发严重。

图1.1	图1.2

2. SVM的基本思想：切在最中间

  SVM充分考虑了这个问题。解决该问题的思路很直观，如果分类直线$0=w\cdot x+b$能够一刀切在两类样本的最中间，如图1.2，那么就能最大程度的避免图1.1中a，b样本被分错的情况。当时刚学SVM的时候，我就被Vapnik这个天才的想法所震惊了，心想，这得是什么样的脑子才能够想到这么漂亮的idea。但是随着涉猎的东西越来越多，我才知道原来间距理论在SVM之前早就有了，间距理论的提出是为了解释为什么adaboost不容易过拟合，或许，Vapnik是从这里获得了灵感吧。所以我强烈安利Boosting 25周年这个视频，真的非常的赞，某天半夜无意间刷到这个视频，看完已经是两点半，却毫无睡意，意犹未尽。周志华不愧为大牛中的大牛，集成学习一代宗师，儒雅，风趣，深入浅出的介绍了Boosting的前世今生，不好意思，貌似跑题了。
  言归正传，“切在最中间”这个想法很容易让人理解，但是想要进一步求解问题依然太模糊了，怎么样才算切在最中间呢？切在最中间等价于分类直线到两类样本的最近“距离”达到最大。注意，这里距离是带引号的，不是普通的点到直线的距离，而是能反应分类置信度以及分类是否正确的距离，称为几何间距。具体而言，一个样本点到分类直线的远近可以表示为分类预测的确信程度，我们早就学过，点到直线的距离为：
$$d=\frac{|w\cdot x+b|}{||w||}$$

在分类直线$w\cdot x+b=0$确定的情况下，$\frac{|w\cdot x+b|}{||w||}$能够表示样本点$x$距离分类直线的远近，而$\frac{w\cdot x+b}{||w||}$的符号与类标记$y$的符号是否一致能够表示分类是否正确。所以，用$\frac{y_i(w\cdot x+b)}{||w||}$来表示分类的正确性及置信度，这就是几何间距。
  在定义几何间距之后，我们就可以将“切在最中间”转化为数学表达式。怎么转化呢？在上文中说到切在最中间等价于分类直线到两类样本的最近的几何间距达到最大，分类直线到两类样本最近的几何间距为：
$$\underset{i=1..m}{\min }(\frac{y_i\ast (w\cdot x_i+b)}{||w||})\dots \dots （2.1）$$

第二步：寻找一组$w,b$，使得几何间距最大：
$$\underset{w,b}{\max }\underset{i=1..m}{\min }(\frac{y_i\ast (w\cdot x_i+b)}{||w||})\dots \dots （2.2）$$

虽然式(2.2)依然不容易求解，但通过式(2.2)，可以得出一个结论，那就是直线切在最中间的时候，正样本和负样本到分类直线的几何间距相等。这就好比一块重量为10，但是密度不均匀的的蛋糕，需要切成重量相等的两部分，这个问题就可以写成类似于式(2.2)的形式，即式(2.3)：
$$\underset{怎么切}{\max }min(左边的重量，右边的重量)\dots \dots (2.3)$$

很显然，式(2.3)的最优解，就是左右两边重量都为5的时候。因为，就算切成4.999和5.001的话，那么$min(4.999，5.001)=4.999$，$\underset{怎么切}{\max }(4.999)$依然可以继续优化，只有当左右两边重量都为5时，$max$再也没有优化的空间了，所以是最优解。
  有了上面的结论，我们可以推导出SVM最终的优化形式。假设，当前切在最中间的分类直线$l$就是$w\cdot x+b=0$，由于正样本和负样本到分类直线的几何间距相等，将$l$分别向上和向下移动$d$，正好与离它们最近的样本相碰，得到$l1$和$l2$，$l1$和$l2$，也被称为支撑直线(平面)，在支撑平面上的样本点，被称为支撑向量，这也是SVM名字的由来，详见图2。

在很多学习资料中，都是直接给出两个支撑平面为：$w\cdot x+b=\pm 1$ ，作为杠精的我，自然要问，凭什么可以直接等于$\pm 1$。这个问题我在研一算法导论课上问了我们班实力最强的东哥，以下就是东哥的推导：
$$\{\begin{array}{c}w\cdot x+b=+d\\ w\cdot x+b=-d\end{array}\Rightarrow \{\begin{array}{c}w\cdot x+d_1=0\\ w\cdot x+d_2=0\end{array}\dots \dots (2.5)$$

$$\Rightarrow \{\begin{array}{c}w\cdot x+\frac{1}{2}{d}_1+\frac{1}{2}{d}_1+\frac{1}{2}{d}_2-\frac{1}{2}{d}_2=0\\ w\cdot x+\frac{1}{2}{d}_2+\frac{1}{2}{d}_2+\frac{1}{2}{d}_1-\frac{1}{2}{d}_1=0\end{array}.\dots \dots (2.6)$$

$$\Rightarrow \{\begin{array}{c}w\cdot x+\frac{1}{2}{d}_1+\frac{1}{2}{d}_2=\frac{1}{2}{d}_1-\frac{1}{2}{d}_2\\ w\cdot x+\frac{1}{2}{d}_1+\frac{1}{2}{d}_2=\frac{1}{2}{d}_2-\frac{1}{2}{d}_1\end{array}.\dots \dots (2.7)$$

两个式子同时除以$\frac{1}{2}{d}_1-\frac{1}{2}{d}_2$，得到
$$\{\begin{array}{l}\frac{w}{\frac{1}{2}{d}_1-\frac{1}{2}{d}_2}\cdot x+\frac{\frac{1}{2}{d}_1+\frac{1}{2}{l}_2}{\frac{1}{2}{d}_1-\frac{1}{2}{d}_2}=1\\ \frac{w}{\frac{1}{2}{d}_1-\frac{1}{2}{d}_2}\cdot x+\frac{\frac{1}{2}{d}_1+\frac{1}{2}{l}_2}{\frac{1}{2}{d}_1-\frac{1}{2}{d}_2}=-1\end{array}..\dots \dots (2.8)$$

把系数重新记为$w,b$，得到
$$\{\begin{array}{c}w\cdot x+b=+1\\ w\cdot x+b=-1\end{array}...\dots \dots (2.9)$$

看到这里，如果同样也是杠精的你，是不是舒服多了。接下来，我们将图2所包含的思想用数学语言彻底描述出来。
1.希望$l1$和$l2$之间的距离$\frac{2}{||w||}$最大，即$\underset{w,b}{\max }\frac{2}{||w||}$。
2.希望在最大化$\frac{2}{||w||}$的同时，所有样本都在$l1$和$l2$之外（或之上），即$y_i(w\cdot x_i+b)⩾1$。
第一条是优化目标，第二条是最优解的约束条件，因此，得到式$(2.10)$：
$$\{\begin{array}{l}\underset{w,b}{\max }\frac{2}{||w||}\\ s.t.y_i(w\cdot x_i+b)⩾1\end{array}.\dots \dots (2.10)$$

为了更容易优化，将式$(2.10)$稍稍做一些改动，对优化来说，依然是等价的，得到式$(2.11)$：
$$\{\begin{array}{l}\underset{w,b}{\min }\frac{1}{2}||w|{|}^2\\ s.t.1-y_i(w\cdot x+b)⩽0\end{array}.\dots \dots (2.11)$$

OK，式$(2.11)$就是“切在最中间”最终的数学描述，竟然如此简洁，不等不感叹数学的神奇与伟大。文本之后所有内容，就是求解式(2.11)。

3.拉格朗日的几何解释

  式$(2.11)$是一个带约束的优化问题，想要求解式$(2.11)$，需要用到广义的拉格朗日乘子法(不等式约束)。在高数课上，我们都学过狭义的拉格朗日乘子法(等式约束)，但老师基本上只教了碰到等式约束问题该怎么做，却不讲为什么要这么做，至少我的高数老师是这样的。在60分万岁的时候，傻瓜式地记住拉格朗日乘子法的几个步骤就OK了，但是想要彻底理解SVM，要求我们必须理解拉格朗日乘子法。问题重述，假如，我们优化目标是$minf(x,y)$，$f(x,y)$是凸函数，等式约束条件为$g(x,y)=c$。拉格朗日乘子法的解题步骤是：
第一步：构造拉格朗日函数
$$L(x,y,\lambda )=f(x,y)+\lambda g(x,y)$$

第二步：分别求出$L(x,y,\lambda )$关于$x,y,\lambda$的偏导并等于0：
$$\begin{array}{lr}\frac{\partial L(x,y,\lambda )}{\partial x}=\frac{\partial f(x,y)}{\partial x}+\lambda \frac{\partial g(x,y)}{\partial x}=0& \dots \dots (3.1)\\ \frac{\partial L(x,y,\lambda )}{\partial y}=\frac{\partial f(x,y)}{\partial y}+\lambda \frac{\partial g(x,y)}{\partial y}=0& \dots \dots (3.2)\\ \frac{\partial L(x,y,\lambda )}{\partial \lambda }=g(x,y)=0& \dots \dots (3.3)\end{array}$$

第三步：将上面三个等式联立方程组，求出$x,y,\lambda$。
  那么，上面这三步花里胡哨的到底干了一件什么事呢？为什么$f(x,y)$必须是凸函数（PS.直线也是凸函数）呢？接下来，我们从几何的去彻底理解拉格朗日乘子法。
拉格朗日乘子法可以用图3来描述：

图3

在图(3)中，$z=f(x,y)$表示损失函数，是一个凸函数，$g(x,y)=0$是约束条件，点$A$是$z=f(x,y)$的最优解，以$A^{\prime }$为圆心的同心圆表示$z=f(x,y)$在平面$XOY$p上的投影，即损失等高线。假如没有约束，$A^{\prime }$就是最优解，求解方式也很简单，直接对$x,y$求偏导，然后偏导等于0就可以了。
  加了约束条件$g(x,y)=0$之后，事情就稍微麻烦了一点。约束条件的作用就是说，$f(x,y)$最优解必须要在直线$g(x,y)=c$上。从图中可以明显的看出，在加了约束条件之后，最优解就是同心圆与$g(x,y)=0$刚好相切的点$B$。相切是一个非常重要的信息，这说明，直线$g(x,y)=0$的法向量与$z=f(x,y)$的梯度在同一条直线上。分析到这里，把上述分析写成数学语言。直线$g(x,y)=0$的法向量为：$(\frac{\partial g(x,y)}{\partial x},\frac{\partial g(x,y)}{\partial y})$，$z=f(x,y)$的梯度为：$(\frac{\partial f(x,y)}{\partial x},\frac{\partial f(x,y)}{\partial y})$，在同一条直线上说明：
$$(\frac{\partial f(x,y)}{\partial x},\frac{\partial f(x,y)}{\partial y})=\alpha (\frac{\partial g(x,y)}{\partial x},\frac{\partial g(x,y)}{\partial y})\dots \dots (3.4)$$

这样是否行了 呢？？显然不行，上面的式子最多只能拆出两个等式，但是变量有三个$x,y,\alpha$，方程无解。更深层次的来说，我们可以说线$g(x,y)=0$的法向量是$(\frac{\partial g(x,y)}{\partial x},\frac{\partial g(x,y)}{\partial y})$，但是我们并不能说，$(\frac{\partial g(x,y)}{\partial x},\frac{\partial g(x,y)}{\partial y})$就是$g(x,y)=0$的法向量，因为直线平移之后，法向量是不会变的。因此，还需要增加一个条件来说明$(\frac{\partial g(x,y)}{\partial x},\frac{\partial g(x,y)}{\partial y})$是$g(x,y)=0$的法向量。我们就地取材，$g(x,y)=c$就是现成的条件。
$$\{\begin{array}{c}(\frac{\partial f(x,y)}{\partial x},\frac{\partial f(x,y)}{\partial y})=\alpha (\frac{\partial g(x,y)}{\partial x},\frac{\partial g(x,y)}{\partial y})\\ g(x,y)=0\end{array}\dots \dots (3.5)$$

拉格朗日乘子法和上述的几何推导有什么关系呢。把式(3.1)，(3.2)写成向量形式，就是
$$(\frac{\partial f(x,y)}{\partial x},\frac{\partial f(x,y)}{\partial y})=-\lambda (\frac{\partial g(x,y)}{\partial x},\frac{\partial g(x,y)}{\partial y}).\dots \dots (3.6)$$

式(3.3)就是$g(x,y)=0$，这两者是不是一样的呢。无非就是$-\lambda$和$\alpha$的区别。

3.KKT条件

  讲完了拉个乘子法之后，我们再回头看看SVM最终的表达式，约束条件不是等式$(g(x,y)=0)$，而是不等式$(g(x,y)<=0)$，那怎么办呢？
  我们把不等式约束拆成两部分，$(g(x,y)<0)$和$(g(x,y)=0)$。我还是用上图来说明KKT条件，但是为了说明的更加方便，只保留损失函数等高线和约束条件。
  第一种情况，约束区域包含了$z=f(x,y)$的最优解，如图4。既然这样的话，约束条件就相当于不存在了。$z=f(x,y)$的最优解就是优化问题的最优解。所以，$\lambda =0$

图4

  第二种情况，$z=f(x,y)$的最优解在约束区域的外面，如图5。优化问题的最优解在约束区域的边界上，这时，不等式约束等价于等式约束。关键点在于，$\lambda$的符号，在第二种情况中，$\lambda >0$。为什么呢？$\overrightarrow{a_f}$是$f(x,y)$在点B处的梯度，另 $z=g(x,y)$，则$\overrightarrow{a_g}$是$g(x,y)$在点B处的梯度。$\overrightarrow{a_f}$与$\overrightarrow{a_g}$方向恰恰相反，所以想要让式(3.6)成立，必须$\lambda >0$。

图5

整合上述两种情况，优化问题的最优解必须满足以下条件，也就是KKT条件：
$$\{\begin{array}{l}\lambda ⩾0\\ g(x)⩽0\\ \lambda g(x)=0\end{array}.\dots \dots (3.7)$$

4.求解SVM优化问题

  在解释完拉格朗日乘子法和KKT条件之后，就可以对式(2.11)求解了，套用拉格朗日乘子法可以得到：
$$\begin{gathered} minL(w,b,\vec{\alpha })=min(\frac{1}{2}||w|{|}^2+\sum _{i=1}^n{\alpha }_i(1-y_i(w\cdot x+b))) \\ \Rightarrow L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^n{\alpha }_i-\sum _{i=1}^n{\alpha }_i{y}_i(w\cdot x_i+b)\dots \dots (4.1) \end{gathered}$$
其中，$\alpha$是一个向量,维度等于样本的个数，$\alpha =({\alpha }_1,{\alpha }_2,\dots \dots ,{\alpha }_n)$
分别对$w,b,\alpha$求偏导，并等于0得：
$$\begin{array}{lr}\partial L(w,b,\alpha )/\partial w=w-{\sum }_{i=1}^n{\alpha }_i{y}_i{x}_i=0\Rightarrow w={\sum }_{i=1}^n{\alpha }_i{y}_i{x}_i& \dots \dots (4.2)\\ \partial L(w,b,\alpha )/\partial b={\sum }_{i=1}^n{\alpha }_i{y}_i=0& \dots \dots (4.3)\\ \partial L(w,b,\alpha )/\partial {\alpha }_i=1-y_i(w\cdot x_i+b)=0,i=1,\dots \dots ,n。& \dots \dots (4.4)\end{array}$$

联立上面的n+2个等式求解，并保证${\alpha }_i⩾0$就可以了。
  如果只有四五个样本，这样简单粗暴的方式还是可行的，如果手工求解嫌麻烦，可以交给Lingo或者MatLab去做。但是，在实际任务中，数据量动不动就是几十万甚至几百万，求解这么大的方程组，内存早就炸掉了。此外，用这种方式得到的结果，就算你计算没有错，结果也很有可能是错的。为什么这么说呢？我们做一题《统计学习方法》上的练习题，你就知道了。

图6

  根据题意，得到优化问题为：
$$\begin{array}{lr}\underset{w,b}{\min }\frac{1}{2}(w{{}_1}^2+w{{}_2}^2)& \\ s.t.\{\begin{array}{c}3w_1+3w_2+b\ge 1\\ 4w_1+3w_2+b\ge 1\\ -w_1-w_2-b\ge 1\end{array}& \end{array}.\dots \dots (4.5)$$

拉格朗日函数为：
$$L(w_1,w_2,b,{\alpha }_1,{\alpha }_2,{\alpha }_3)=\frac{1}{2}(w{{}_1}^2+w{{}_2}^2)-{\alpha }_1(3w_1+3w_2+b-1)-{\alpha }_2(4w_1+3w_2+b-1)+{\alpha }_3(-w_1-w_2-b-1)$$

分别对$w_1,w_2,b,{\alpha }_1,{\alpha }_2,{\alpha }_3$并等于0，得：
$$\begin{array}{lr}\partial L/\partial w_1=w_1-(3{\alpha }_1+4{\alpha }_2-{\alpha }_3)=0& 4.6\\ \partial L/\partial w_2=w_2-(3{\alpha }_1+3{\alpha }_2-{\alpha }_3)=0& 4.7\\ \partial L/\partial b=({\alpha }_1+{\alpha }_2-{\alpha }_3)=0& 4.8\\ \partial L/\partial {\alpha }_1=1-b-3w_1-3w_2=0& 4.9\\ \partial L/\partial {\alpha }_2=1-b-4w_1-3w_2=0& 4.10\\ \partial L/\partial {\alpha }_3=1+b+w_1+w_2=0& 4.11\end{array}$$

联立式(4.9)、(4.10)、(4.11)，可以得$w_1=0,w_2=1,b=-2$，再将结果带入到式(4.6)、(4.7)、(4.8)，解出${\alpha }_1=3/2,{\alpha }_2=-1,{\alpha }_3=1/2$。但是，上面的解是错误的，因为约束条件要求所有的$\alpha ⩾0$，但是我们求解的${\alpha }_2$却是负数。那为什么，我们规规矩矩的求解下来，也没有算错，结果怎么就错了呢？那是因为，我们用了不该用的条件，那就是式(4.10)。式(4.10)是由样本2得来的，从图6中可以发现，样本2在边界外边，没有起到约束作用，所以，再构造拉格朗日函数的时候，直接取${\alpha }_2=0$，把样本2对应的约束条件过滤掉。
  找到错误的原因之后，我们重新求解，联立式(4.9)、(4.11)，得$b=-2$和$w1+w2=1$。将结果，带入式(4.7)，将式(4.8)带入式(4.6)与式(4.7)，再因为${\alpha }_2=0$，最后可以得到方程组：
$$\{\begin{array}{l}{w}_1-2{\alpha }_1=0\\ 1-w_1-2{\alpha }_1=0\end{array}$$

解得$w_1=1/2,{\alpha }_1=1/4$，综合所有，得$w_2=1/2,{\alpha }_1=1/4,{\alpha }_3=1/4$。
  这道例题，之所以能找到错误的原因，是因为样本是2维的，我们开了上帝视角。如果样本是4维及以上，并且数据非常大，绝大多数的样本都是不具有约束的，在海量数据中，找到具有约束的样本，简直是天方夜谭。此外，这种求解方式，也不利用引入核函数。

5.拉格朗日对偶性

  本文的第4部分介绍了求解SVM的最基本的方法，我通过一道例题，也说明了这种方式的弊端十分明显。那么，有没有更好的优化方式呢？接下来让我们进入重头戏——拉格朗日对偶。以下内容，摘自“耳东陈”老师的一篇知乎文章，不是我有心想抄，只是这篇乎文写的太精彩了，与其高仿，不如让大家看原汁原味的，我顺便做一些辅助性的解释。
  很多资料都是上来就开始介绍“对偶问题”的概念，这实际上是一种“先知式”的教学方式，对于研究问题的思路开拓有害无益。所以，在介绍这个知识点之前，我们先要从宏观的视野上了解一下拉格朗日对偶问题出现的原因和背景。按照前面等式约束条件下的优化问题的求解思路，构造拉格朗日方程的目的是将约束条件放到目标函数中，从而将有约束优化问题转换为无约束优化问题。我们仍然秉承这一思路去解决不等式约束条件下的优化问题，那么如何针对不等式约束条件下的优化问题构建拉格朗日函数呢？
  因为我们要求解的是最小化问题，所以一个直观的想法是如果我能够构造一个函数，使得该函数在可行解区域内与原目标函数完全一致，而在可行解区域外的数值非常大，甚至是无穷大，那么这个没有约束条件的新目标函数的优化问题就与原来有约束条件的原始目标函数的优化是等价的问题。
  拉格朗日对偶问题其实就是沿着这一思路往下走的过程中，为了方便求解而使用的一种技巧。于是在这里出现了三个问题：1）有约束的原始目标函数优化问题；2）新构造的拉格朗日目标函数优化问题；3）拉格朗日对偶函数的优化问题。我们希望的是这三个问题具有完全相同的最优解，而在数学技巧上通常第三个问题——拉格朗日对偶优化问题——最好解决。所以拉格朗日对偶不是必须的，只是一条捷径。
1）原始目标函数（有约束条件）
  为了接下来的讨论，更具有一般性，我们把等式约束条件也放进来，进而有约束的原始目标函数优化问题重新给出统一的描述：
$$\begin{array}{lll}{\min }_{\mathbf{x}}& f(\mathbf{x})& \\ \text{s. t.}& h_i(\mathbf{x})=0& i=1,2,\dots ,m\\ & g_j(\mathbf{x})\le 0& j=1,2,\dots ,n\end{array}.\dots \dots (5.1)$$

公式(5.1)表示m个等式约束条件和n个不等式约束条件下的目标函数$f(\mathbf{x})$的最小化问题。
2）新构造的目标函数（没有约束条件）

接下来我们构造一个基于广义拉格朗日函数的新目标函数，记为：
$${\theta }_P(\mathbf{x})=\underset{\mathbf{\alpha },\mathbf{\beta };{\beta }_j\ge 0}{\max }L(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })\dots \dots (5.2)$$

其$中L(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })$为广义拉格朗日函数，定义为：
$$L(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })=f(\mathbf{x})+\sum _{i=1}^m{\alpha }_i{h}_i(\mathbf{x})+\sum _{j=1}^n{\beta }_j{g}_j(\mathbf{x})$$

这里，$\mathbf{\alpha }=[{\alpha }_1,{\alpha }_2,\dots ,{\alpha }_m{]}^T,\mathbf{\beta }=[{\beta }_1,{\beta }_2,\dots ,{\beta }_n{]}^T$，是我们在构造新目标函数时加入的系数变量，同时也是公式(5.2)中最大化问题的自变量。将公式(5.3)带入公式(5.2)有：
$${\theta }_P(\mathbf{x})=\underset{\mathbf{\alpha },\mathbf{\beta };{\beta }_j\ge 0}{\max }L(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })=f(\mathbf{x})+\underset{\mathbf{\alpha },\mathbf{\beta };{\beta }_j\ge 0}{\max }\left[\sum _{i=1}^m{\alpha }_i{h}_i(\mathbf{x})+\sum _{j=1}^n{\beta }_j{g}_j(\mathbf{x})\right].\dots \dots (5.4)$$

我们对比公式(5.1)中的约束条件，将论域范围分为可行解区域和可行解区域外两个部分对公式（5.4）的取值进行分析，将可行解区域记为$\Phi$，当${\beta }_j\ge 0,j=1,2,\dots ,n$时有：

可行解区域内：由于$h_i(\mathbf{x})=0\forall i$，$g_j(\mathbf{x})\le 0$ 且系数${\beta }_j\ge 0,\forall j$, 所以有：

$$\underset{\mathbf{\alpha },\mathbf{\beta };{\beta }_j\ge 0}{\max }\left[\sum _{i=1}^m{\alpha }_i{h}_i(\mathbf{x})+\sum _{j=1}^n{\beta }_j{g}_j(\mathbf{x})\right]=0,\text{for}\mathbf{x}\in \Phi \dots \dots (5.5)$$

可行解区域外：代表公式(5.1)中至少有一组约束条件没有得到满足。如果$h_i(\mathbf{x})̸=0$，则调整系数${\alpha }_i$就可以使${\alpha }_i{h}_i(\mathbf{x})\to +\infty$ ；如果$g_j(\mathbf{x})>0$，调整系数${\beta }_j$就可以使${\beta }_j{g}_j(\mathbf{x})\to +\infty$ 。这意味着，此时有
$$\underset{\mathbf{\alpha },\mathbf{\beta };{\beta }_j\ge 0}{\max }\left[\sum _{i=1}^m{\alpha }_i{h}_i(\mathbf{x})+\sum _{j=1}^n{\beta }_j{g}_j(\mathbf{x})\right]=+\infty ,\text{for}\mathbf{x}\notin \Phi \dots \dots (5.6)$$

把公式(5.4),(5.5)和(5.6)结合在一起就得到我们新构造的目标函数${\theta }_P(\mathbf{x})$的取值分布情况：

$${\theta }_P(\mathbf{x})=\{\begin{array}{ll}f(\mathbf{x})& \mathbf{x}\in \Phi \\ +\infty & \text{otherwise}\end{array}(5.7)$$

  此时我们回想最初构造新目标函数的初衷，就是为了建立一个在可行解区域内与原目标函数相同，在可行解区域外函数值趋近于无穷大的新函数。看看公式(5.7),yeah,我们做到了。
现在约束条件已经没了，接下来我们就可以求解公式(5.8)的问题

$$\underset{\mathbf{x}}{\min }\left[f(\mathbf{x})+\underset{\mathbf{\alpha },\mathbf{\beta };{\beta }_j\ge 0}{\max }\left[\sum _{i=1}^m{\alpha }_i{h}_i(\mathbf{x})+\sum _{j=1}^n{\beta }_j{g}_j(\mathbf{x})\right]\right]\dots \dots (5.8)$$

3）对偶问题
  尽管公式(5.8)描述的无约束优化问题看起来很美好，但一旦你尝试着手处理这个问题，就会发现一个麻烦。什么麻烦呢？我们很难直接从公式(3.8)里面把$\mathbf{\alpha },\mathbf{\beta }$这两组参数拿掉，这样我们就没法通过令$\partial {\theta }_P(\mathbf{x})/\partial \mathbf{x}=0$的方法求解出最优解${\mathbf{x}}^{\ast }$。

4）对偶问题同解的条件
  介绍完对偶问题之后，还有一个非常重要的话题，那就是对偶问题和原始问题到底有没有相同的最优解呢？或者说，什么满足什么条件时，两者有相同的解？我只是摘抄了《统计学习方法》相关定理，但是不做证明(没必要，建议看官们没有太强的理论求知欲就别去看了)。
定理1：如果原始(primary)问题和对偶(dual)问题都有最优值，则：
$$p^{\ast }=\underset{\mathbf{x}}{\min }\underset{\mathbf{\alpha },\mathbf{\beta };{\beta }_j\ge 0}{\max }L(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })⩾\underset{\mathbf{\alpha },\mathbf{\beta };{\beta }_j\ge 0}{\max }\underset{\mathbf{x}}{\min }L(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })=d^{\ast }$$

其中，$p^{\ast }$是原始问题的最优解，$d^{\ast }$是对偶问题的最优解，定理1交代了对偶问题的解不可能优于原始问题的解，顶多一样。当然原始问题非常非常复杂时，我们可以退而求其次，去求对偶问题的最优解，但代价就是可能得不到原始问题的最优解。于是，更核心的问题就是，什么时候这两者的解是等价的，请看定理2。
定理2：对于原始问题和对偶问题，假设函数$f(\mathbf{x})$和不等式约束条件$g_j(\mathbf{x}),\forall j$为凸函数(直线，平面，超平面也是凸函数)，等式约束条件中的$h_i(\mathbf{x})$为仿射函数（即由一阶多项式构成的函数，$h_i(\mathbf{x})={\mathbf{a}}_i^T\mathbf{x}+b_i，{\mathbf{a}}_i,\mathbf{x}均为列向量，b_i为标量）$；并且至少存在一个$\mathbf{x}$使所有不等式约束条件严格成立，即$g_j(\mathbf{x})<0,\forall j$(很显然，在SVM中，这个条件肯定是成立的。为什么？SVM的优化问题可以用图5来描述，相切时，正好等号成立，只要把等高线圈圈再往外扩一点，就能取到$\mathbf{w}$让不等式严格成立。)，则存在${\mathbf{x}}^{\ast },{\mathbf{\alpha }}^{\ast },{\mathbf{\beta }}^{\ast }$使得${\mathbf{x}}^{\ast }$是原始问题的最优解，${\mathbf{\alpha }}^{\ast },{\mathbf{\beta }}^{\ast }$是对偶问题的最优解且有：$d^{\ast }=p^{\ast }=L({\mathbf{x}}^{\ast },{\mathbf{\alpha }}^{\ast },{\mathbf{\beta }}^{\ast })$，并其充分必要条件如下：
$$\begin{array}{lr}{\nabla }_{\mathbf{x}}({\mathbf{x}}^{\ast },{\mathbf{\alpha }}^{\ast },{\mathbf{\beta }}^{\ast })=0& (1)\\ {\nabla }_{\mathbf{\alpha }}({\mathbf{x}}^{\ast },{\mathbf{\alpha }}^{\ast },{\mathbf{\beta }}^{\ast })=0& (2)\\ {\nabla }_{\mathbf{\beta }}({\mathbf{x}}^{\ast },{\mathbf{\alpha }}^{\ast },{\mathbf{\beta }}^{\ast })=0& (3)\\ g_j({\mathbf{x}}^{\ast })\le 0,j=1,2,\dots ,n& (4)\\ {\beta }_j^{\ast }\ge 0,j=1,2,\dots ,n& (5)\\ {\beta }_j^{\ast }{g}_j({\mathbf{x}}^{\ast })=0,j=1,2,\dots ,n& (6)\\ h_i({\mathbf{x}}^{\ast })=0,i=1,2,\dots ,m& (7)\end{array}(5.9)$$

再次强调一下，公式(5.9)是使${\mathbf{x}}^{\ast }$为原始问题的最优解，${\mathbf{\alpha }}^{\ast },{\mathbf{\beta }}^{\ast }$为对偶问题的最优解，且$d^{\ast }=p^{\ast }=L({\mathbf{x}}^{\ast },{\mathbf{\alpha }}^{\ast },{\mathbf{\beta }}^{\ast })$的充分必要条件。公式(5.9)中的(1)~(3)，是为了求解最优化要求目标函数相对于三个变量$\mathbf{x},\mathbf{\alpha },\mathbf{\beta }$的梯度为0；(4),(6)为KKT条件(见式3.7)，这也是我们为什么要在上文中先介绍KKT条件的原因；(7)为等式约束条件。

6.利用对偶性继续求解。

  讲完KKT和拉格朗日对偶之后，就可以明明白白的推导了。我们再重新叙述一下，我们要解决一个什么样的问题。从一开始，我们就解决的问题就是式$(2.11)$的优化问题。
$$\{\begin{array}{l}\underset{w,b}{\min }\frac{1}{2}||w|{|}^2\\ s.t.1-y_i(w\cdot x+b)⩽0\end{array}.\dots \dots (2.11)$$

  但这个优化问题稍稍复杂一点之后，不用点先进的数学手段是很难处理的，于是乎，我们又使用了拉格朗日乘子法去求解，把式$(2.11)$转化为$(6.1)$。
$$\underset{\mathbf{w},b}{\min }\underset{\mathbf{\alpha };{\alpha }_j\ge 0}{\max }L(\mathbf{w},\mathbf{\alpha },b,)=\frac{1}{2}||\mathbf{w}|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i(\mathbf{w}\cdot x+b))\dots \dots （6.1）$$

但是可以发现，求解$(6.1)$需要先接$max$，再解$min$，这样依然很不方便。于是，再利用刚才介绍过的拉格朗日对偶性，把优化顺序调换一下，先解$min$，再解$max$，即式(6.2)最巧的是，这两者顺序得到的解是等价的，但是后者的难度却比前者小很多。
$$\underset{\mathbf{\alpha };{\alpha }_j\ge 0}{\max }\underset{\mathbf{w},b}{\min }L(\mathbf{w},\mathbf{\alpha },b,)=\frac{1}{2}||\mathbf{w}|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i(\mathbf{w}\cdot x+b))\dots \dots (6.2)$$

先求$min$消去w，b，但是不是真的完全消去，更确切的说，把w，b转化为了另外一种约束。
对$\mathbf{w}$，$b$求偏导等于0，

$$\begin{array}{lr}{\nabla }_{\mathbf{w}}L(\mathbf{w},\mathbf{\alpha },b,)=\mathbf{w}-{\sum }_{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_i=0& (6.3)\\ {\nabla }_{b}L(\mathbf{w},\mathbf{\alpha },b,)={\sum }_{i=1}^N{\alpha }_i{y}_i=0& (6.4)\end{array}$$
于是，我们就得到了
$$\begin{array}{lr}\mathbf{w}={\sum }_{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_i& (6.5)\\ {\sum }_{i=1}^N{\alpha }_i{y}_i=0& (6.6)\end{array}$$

把上面的式(6.5)、(6.6)，代入式(6.2)得到式(6.7)可以发现未知变量只剩下了${\alpha }_i$了。

$$\underset{w,b}{\min }L(\mathbf{w},b,\mathbf{\alpha })=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)+\sum _{j=1}^N{\alpha }_i\dots \dots (6.7)$$

到这一步，极小值已经求完了，所以问题${\max }_{\mathbf{\alpha };{\alpha }_j\ge 0}{\min }_{\mathbf{w},b}L(\mathbf{w},\mathbf{\alpha },b,)$就变成了${\max }_{\mathbf{\alpha };{\alpha }_j\ge 0}L(\mathbf{\alpha })$ ，即式(6.8)。好了，就剩下求极大值了，解决这个，SVM就解完了。
$$\underset{\mathbf{\alpha }}{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)+\sum _{j=1}^N{\alpha }_i\dots \dots (6.8)$$

$$\{\begin{array}{l}s.t.{\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ {\alpha }_i⩾0\end{array}$$

一般在机器学习中，把最后的问题转化为最小化问题，因此，把上式也写为最小化的形势（把负号去掉，max变min就OK了）

$$\underset{\mathbf{\alpha }}{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)-\sum _{j=1}^N{\alpha }_i\dots \dots (6.9)$$

$$\{\begin{array}{l}s.t.{\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ {\alpha }_i⩾0\end{array}$$

接下来的问题，就是如何求解$\alpha$，求解$\alpha$的方法有很多，最广为人知的就是SMO算法了，但是这是我在这里就不详细解释SMO了，我个人感觉SMO算法像是被神话了一般，其实这也不过众多求解$\alpha$的一种而已，其实梯度下降法也是可以求解的。

7.软间隔。

8. 核函数的使用

9.更一般化的问题(Hinge损失)。