机器学习：SVM（二）——线性支持向量机以及非线性支持向量机

线性支持向量机

• 首先我们给出下面两种情况，如图所示。
  第一种数据线性可分，那么肯定存在唯一的超平面将样本完全分开，并满足间隔最大化，此时分类器就是上一篇中的线性可分支持向量机。但是现实情况中完全线性可分情况很少。
  第二种数据中，由于蓝绿两个样本的存在，实际上根本不可能存在一个超平面（二维中为直线）将数据完全分开，除非分割面如红线所示（此时已经不是平面，为超曲面）。由于只是少量样本导致的线性不可分（完全或者大多数线性不可分时，需要非线性支持向量机），我们可以将数据集近似看成线性可分，实际上仍然存在无穷超平面可以切分数据集，我们从中选取保证间隔尽量大的同时误分类个数尽量小的超平面即可。这就是所谓的基于软间隔最大化的线性支持向量机。
  
• 线性不可分，意味着某些样本点不满足函数间隔大于等于1 的约束条件，因此可引入松弛变量，使得约束条件变为：\({y_i}(w \cdot x + b) \ge 1 - {\xi _i}\)，对于每个松弛变量，支付一个代价。因此变为如下优化问题\[\begin{array}{l} \mathop {\min }\limits_{w,b,\xi } \;\;\;\frac{1}{2}{\left\| w \right\|^2} + C\sum\limits_{i = 1}^N { {\xi _i}} \\ s.t.\;\;{y_i}(w \cdot x + b) \ge 1 - {\xi _i},\\ \;\;\;\;\;\;{\xi _i} \ge 0 \end{array}\]同样为凸二次规划问题，因而解存在，可以证明\(w\)唯一，但\(b\)不唯一（证明参考线性可分支持向量机超平面存在性与唯一性证明，与之类似）。
• 拉格朗日函数\[L(w,b,\xi ,\al