（一）SVM推导

SVM模型就是用一个超平面H把正负样本分开的模型，如图1所示。

1、超平面的定义

假设$\overrightarrow{w}$是垂直超平面H的法向量，$\overrightarrow{x_-}$是一个负样本，$\overrightarrow{x_+}$是一个正样本，$\overrightarrow{x_-}$、$\overrightarrow{x_+}$在向量$\overrightarrow{w}$的投影点分别是A,B。所有的样本满足公式(1)。

$$\frac{\overrightarrow{w}}{||\overrightarrow{w}||}*\overrightarrow{x_-}\leqslant |OC|\leqslant \frac{\overrightarrow{w}}{||\overrightarrow{w}||}*\overrightarrow{x_+} \qquad(1)$$
即
$$\frac{\overrightarrow{w}}{||\overrightarrow{w}||}*\overrightarrow{x_-}- |OC|\leqslant 0 \leqslant \frac{\overrightarrow{w}}{||\overrightarrow{w}||}*\overrightarrow{x_+} - |OC|\qquad(2)$$
进一步可以转化为
$$\overrightarrow{w}*\overrightarrow{x_-}+b \leqslant 0 \leqslant \overrightarrow{w}*\overrightarrow{x_+} +b\qquad(3)$$
所以，当样本满足公式(4)时候,则判定为正样本，反之，是负样本。其中，公式(4)中满足等式的点落在超平面H中。
$$\overrightarrow{w}\cdot \overrightarrow{x}+b \geqslant 0 \qquad(4)$$

图.1

2、训练样本满足的约束

由前面的分析可知，超平面H可以有无数条，然而，我们定义具有最大间隔的超平面才是最优的。如图.1所示，最大间隔指的是虚线H1与H2之间的距离。其中，H1,H,H2是平行的，并且H1到H的距离与H2到H的距离相等。由公式(4),并且向量$\overrightarrow{w}$可以伸缩，可得

$$\left\{\begin{matrix} \overrightarrow{w}\cdot \overrightarrow{x_+}+b \geqslant 1 \\ \overrightarrow{w}\cdot \overrightarrow{x_-}+b \leqslant -1 \end{matrix}\right. \qquad(5)$$
即为了得到最优的分割超平面H，我们要求训练的正样本和负样本满足公式(5)，然后去求解最大的间隔。其中，落在虚线H1,H2的点使得公式(5)的等号成立，这些点称为 支持向量。假设样本点的标签值 $y\in \{+1,-1\}$。代入公式(5)，有
$$\left\{\begin{matrix} y_i^+(\overrightarrow{w}\cdot \overrightarrow{x_+}+b) \geqslant 1 \\ y_i^-(\overrightarrow{w}\cdot \overrightarrow{x_-}+b) \geqslant 1 \end{matrix}\right. \qquad(6)$$
公式(6)可以合并为通用的样本形式
$$y_i(\overrightarrow{w}\cdot \overrightarrow{x}+b) \geqslant 1 \qquad(7)$$
即所有的训练样本都满足公式(7)，其几何意义如图.1,所有的样本点都在虚线两侧，不允许跨过虚线。注意，预测样本的时候，是允许样本点跨越虚线区域的，因为判断的分界线是超平面H。

3、最大间隔的表示

如图.2所示，最大间隔等于正样本支持向量与负样本支持向量构成的向量$\overrightarrow{x_+}-\overrightarrow{x_-}$在法向量$\overrightarrow{w}$上的投影长度d。

投影长度d如公式(8)所示.

$$d=(\overrightarrow{x_+}-\overrightarrow{x_-})\cdot \frac{\overrightarrow{w}}{||\overrightarrow{w}||} \qquad(8)$$
由于这里的 $\overrightarrow{x_+}和\overrightarrow{x_-}$是支持向量，满足公式(9)
$$y_i(\overrightarrow{w}\cdot \overrightarrow{x}+b) = 1 \qquad(9)$$
把公式(9)代入公式(8)，可得
$$d=\frac{2}{||\overrightarrow{w}||}$$
即求解最大间隔表示如下:
$$\left\{\begin{matrix} max \frac{2}{||\overrightarrow{w}||} \\ \\ s.t \qquad y_i(\overrightarrow{w}\cdot \overrightarrow{x}+b) - 1=0 \end{matrix}\right.$$
等价于求解
$$\left\{\begin{matrix} min \frac{1}{2}||\overrightarrow{w}||^2 \\ \\ s.t \qquad y_i(\overrightarrow{w}\cdot \overrightarrow{x}+b) - 1=0 \end{matrix}\right.$$
其中，s.t 代表约束条件.