百面机器学习 #3 经典算法：01-2 不完全线性可分（软间隔）支撑向量机SVM

假设训练数据集不是线性可分的。通常情况是，训练数据中有一些特异点（outlier），将这些特异点除去后，剩下大部分的样本点组成的集合是线性可分的。

①从原问题到对偶问题

• 对每个样本点$(x_i,y_i)$ 引进一个松弛变量，使函数间隔加上松弛变量大于等于1。约束条件变为
  $$y_i(w\cdot x_i+b)\ge 1-{\xi }_i,i=1,2,...,N$$
  同时，对每个松弛变量，支付一个代价，原优化问题变为凸二次规划（convex quadratic programming）问题:
  $$\begin{array}{ll}\underset{w,b,\xi }{\min }& \frac{1}{2}\Vert w{\Vert }^2+C{\sum }_{i=1}^N{\xi }_i\\ \text{ s.t. }& y_i\left(w\cdot x_i+b\right)⩾1-{\xi }_i,i=1,2,\cdots ,N\\ & {\xi }_i⩾0,i=1,2,\cdots ,N\end{array}$$
  C 称为惩罚参数，一般由应用问题决定，C 值大时对误分类的惩罚增大，C值小时对误分类的惩罚减小。最小化目标函数包含两层含义：使$\frac{1}{2}||w|{|}^2$ 尽量小即间隔尽量大，同时使误分类点的个数尽量小，C 是调和二者的系数。

• 原始最优化问题的拉格朗日函数是
  $$L(w,b,\xi ,\alpha ,\mu )\equiv \frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i\left(y_i\left(w\cdot x_i+b\right)-1+{\xi }_i\right)-\sum _{i=1}^N{\mu }_i{\xi }_i$$
  其中${\alpha }_i\ge 0,{\mu }_i\ge 0$

②对偶问题的解的形式化简

现在我们要解的原问题的变量从两个$w,b$变成了三个$w,b,\xi$，同样原始问题等价于对拉格朗日函数的min-max问题，对偶问题是拉格朗日函数的max-min问题，其中min针对问题变量，max针对约束参数。对偶问题的内层min问题，对问题变量求导有
$$\begin{array}{l}{\nabla }_{w}L(w,b,\xi ,\alpha ,\mu )=w-{\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i=0\\ {\nabla }_{b}L(w,b,\xi ,\alpha ,\mu )=-{\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ {\nabla }_{{\xi }_i}L(w,b,\xi ,\alpha ,\mu )=C-{\alpha }_i-{\mu }_i=0\end{array}$$
化简得
$$\begin{array}{c}w={\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i\\ {\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ C-{\alpha }_i-{\mu }_i=0\end{array}$$
代回拉格朗日函数，得到对偶问题：
$$\begin{array}{ll}\underset{\alpha }{\max }& -\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+{\sum }_{i=1}^N{\alpha }_i\\ \text{ s.t. }& {\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ & C-{\alpha }_i-{\mu }_i=0\\ & {\alpha }_i⩾0\\ & {\mu }_i⩾0,i=1,2,\cdots ,N\end{array}$$
再将对目标函数求极大转换为求极小，消去变量${\mu }_i$，得到对偶问题如下，可以看到只是约束参数${\alpha }_i$的范围多了一个C
$$\begin{array}{ll}\underset{\alpha }{\min }& \frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-{\sum }_{i=1}^N{\alpha }_i\\ \text{ s.t. }& {\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ & 0⩽{\alpha }_i⩽C,i=1,2,\cdots ,N\end{array}$$
可以通过求解对偶问题而得到原始问题的解，进而确定分离超平面和决策函数。

③从对偶问题的解到原问题的解

假设对偶问题的解${\alpha }^{\ast }$已经知道，（对原问题）用KKT条件得
$$\begin{array}{l}{\nabla }_{w}L\left(w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast }\right)=w^{\ast }-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i=0\\ {\nabla }_{b}L\left(w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast }\right)=-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i=0\\ {\nabla }_{\xi }L\left(w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast }\right)=C-{\alpha }^{\ast }-{\mu }^{\ast }=0\\ {\alpha }_i^{\ast }\left(y_i\left(w^{\ast }\cdot x_i+b^{\ast }\right)-1+{\xi }_i^{\ast }\right)=0\\ {\mu }_i^{\ast }{\xi }_i^{\ast }=0y_i\left(w^{\ast }\cdot x_i+b^{\ast }\right)-1+{\xi }_i^{\ast }⩾0\\ {\xi }_i^{\ast }⩾0\\ {\alpha }_i^{\ast }⩾0\\ {\mu }_i^{\ast }⩾0,i=1,2,\cdots ,N\end{array}$$
第一个式子容易得到
$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$

至少有一个（不是要求的，是求解问题的时候，发现至少一个非零才是合理的，否则都为0，根据第一个式子w也为0）${\alpha }_j^{\ast }>0$，任选其一，$y_j\left(w^{\ast }\cdot x_j+b^{\ast }\right)-1=0$

注意到$y_j^2=1$，联立上述二式得

$b^{\ast }=\frac{1}{y_j}-w^{\ast }\cdot x_j=y_j-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i{x}_j$

和前述硬间隔的结果一样。

④从原问题的解到分离超平面、决策函数、支撑向量

进一步，分离超平面可以写成
$$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\left(x\cdot x_i\right)+b^{\ast }=0$$
分类决策函数可以写成
$$f(x)=sign\left(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\left(x\cdot x_i\right)+b^{\ast }\right)$$
可以看到，$w^{\ast },b^{\ast }$只依赖于那些${\alpha }_j^{\ast }>0$的样本，这样的对应的训练样本我们就称之为支撑向量。

注：

每次任选一个符合条件的非0的${\alpha }_j$就可求得w和b，但是这样的结果可能由于j不一样而不唯一。