线性支持向量机（SVM）与软间隔最大化

之前的文章：线性可分硬间隔支持向量机
链接: 线性可分硬间隔支持向量机中所介绍的方法对于线性不可分的数据集并不适用，因为在求解凸二次规划问题时不能保证所有的约束条件都得到满足。
假设样本数据集是线性不可分的，训练数据中存在一些奇异点，将这些奇异点去除之后，剩余的大部分样本是线性可分的。
为了解决这个问题，对每一个样本点$(x_i,y_i)$引入一个松弛变量${\xi }_i⩾0$，使函数间隔加上松弛变量大于等于1.这样，约束条件就变为了
$$y_i(w\cdot x_i+b)⩾1-{\xi }_i$$
同时，对于每一个松弛变量${\xi }_i$都支付一个代价${\xi }_i$，于是，目标函数就变为了
$$\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i$$
其中，$C>0$为惩罚系数。
于是，线性不可分的线性支持向量机的学习问题变味了如下的凸二次规划问题（原始问题）：
$$\underset{w,b,\xi }{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i$$
s.t.
$$y_i(w\cdot x_i+b)⩾1={\xi }_i,i=1,2,\cdots ,N$$
$${\xi }_i⩾0,i=1,2,\cdots ,N$$
可以证明，$w$的解是唯一的，但是$b$的解可能不唯一，而是存在一个区间。
设上述问题的解为$w^{\ast }$，$b^{\ast }$，则可以得到分离超平面$w^{\ast }\cdot x+b=0$以及分类决策函数$f(x)=sign(w^{\ast }\cdot x+b^{\ast })$，并且把这样的模型称为线性支持向量机。
下面进行求解
写出上述目标函数的拉格朗日函数
$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i(y_i(w\cdot x_i+b)-1+{\xi }_i)-\sum _{i=1}^N{\mu }_i{\xi }_i$$
其中，${\alpha }_i⩾0,{\mu }_i⩾0$
对偶问题为极大极小，首先求极小${\min }_{w,b,\xi }L(w,b,\xi ,\alpha ,\mu )$
分别求$w,b,\xi$的梯度得到：
$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$
$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$
$$C-{\alpha }_i-{\mu }_i=0$$
带入之前的问题，可得到最终需要求解的问题
$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i$$
s.t.
$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$
$$0⩽{\alpha }_i⩽C,i=1,2,\cdots ,N$$
相比线性可分的模型，改变了约束条件。
设${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast })$为对偶问题的一个解，若存在${\alpha }^{\ast }$的一个分量${\alpha }_j^{\ast }$，$0<{\alpha }_j^{\ast }<C$，则原始问题的解$w^{\ast },b^{\ast }$可按下式求得
$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$
$$b^{\ast }=y_i-\sum _{i=1}^N{y}_i{\alpha }_i^{\ast }(x_i\cdot x_j)$$
由此可求出：
$$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast }=0$$
分类决策函数为
$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast })$$

合页损失函数

其实，线性支持向量机的学习还有另外一种解释，就是最小化
$$\underset{w,b}{\min }\sum _{i=1}^N[1-y_i(w\cdot x_i+b){]}_{+}+\lambda ||w|{|}^2$$
也就是说，将第一项的经验损失改为了合页损失函数，下标“+”表示取正值的函数。
该损失函数与感知机的损失函数相比，要求的确信度更高。

参考：《统计学习方法》 李航著