支持向量机SVM(3)——软间隔

接上一篇博客支持向量机SVM(2)——拉格朗日乘数法
前面我们的问题假设数据处于理想状态，而现实情况是数据可能是线性不可分的，或者可分但是存在噪声。对于有噪声这种情况，如果我们还是使用前面的方法，那么就会把噪声也分类，就会存在过拟合的情况。解决这个问题的一个方法就是允许我们的超平面出一点点错，这也就是“软间隔”（soft margin），而前面我们所讲的就是“硬间隔”（hard margin）。
如下图所示：我们允许出现红色圈的那些点不满足约束条件$y_i(w^T{x}_i+b)\ge 1$。

我们现在用loss来表示允许一点错误的损失，当$y_i(w^T{x}_i+b)<1$不满足约束条件时，loss=1；$y_i(w^T{x}_i+b)\ge 1$时满足条件时，这个时候没有错误，loss=0。这也称为0/1损失函数：
$$loss(z)=\{\begin{array}{l}1，ifz<1\\ 0，otherwise\end{array}$$
那么我们原始的优化目标就变成了：
$$mi{n}_{(w,b)}\frac{1}{2}{w}^{T}w+C\sum _{i=1}^{N}loss(y_i(w^T{x}_i+b))$$
其中，C是常数。
很容易发现我们的损失函数并不连续，在后面我们求导过程中的处理会比较麻烦，这里我们会用一些其他的连续的损失函数来替代，常见的有三种替代损失函数：
$$\begin{gathered} hinge损失：los{s}_{hinge}(z)=max(0,1-z) \\ 指数损失：los{s}_{exp}(z)=exp(-z) \\ 对率损失：los{s}_{log}(z)=log(1+exp(-z)) \end{gathered}$$
这里我们采用hinge损失，那么我们上面的优化目标就变成如下形式：
$$mi{n}_{(w,b)}\frac{1}{2}{w}^{T}w+C\sum _{i=1}^{N}max(0,1-y_i(w^T{x}_i+b))$$
但一般我们不写成上面这种形式，我们先引入${\xi }_i=1-y_i(w^T{x}_i+b)$。当${\xi }_i$大于0时，上面的max就取${\xi }_i$；当${\xi }_i$小于0时，上面的max取0，所以我们直接添加一个约束${\xi }_i\ge 0$，然后我们原始的问题就可以写成如下形式：
$$\{\begin{array}{l}mi{n}_{(w,b,{\xi }_i)}\frac{1}{2}{w}^{T}w+C{\sum }_{i=1}^N{\xi }_i\\ s.t.y_i(w^T{x}_i+b)\ge 1-{\xi }_i\\ {\xi }_i\ge 0\end{array}$$
其中${\xi }_i$也称为松弛变量。

现在我们就可以采取和硬间隔中一样的办法来求解：即先构造拉了朗日函数，然后利用对偶关系求解对偶问题，最后求导。
（不懂得可以翻看前一篇博客）
简单走一下流程：
（1）构造拉格朗日函数：
$$L(w,b,\lambda ,\xi ,u)=\frac{1}{2}{w}^{T}w+C\sum _{i=1}^N{\xi }_i+\sum _{i=1}^N{\lambda }_i(1-{\xi }_i-y_i(w^T{x}_i+b))-\sum _{i=1}^N{u}_i{\xi }_i$$
其中，${\lambda }_i\ge 0，u_i\ge 0$是拉格朗日乘子。
（2）然后我们的优化问题可以写成如下形式(对$w,b,\xi$无约束)：
$$\{\begin{array}{l}mi{n}_{(w,b,\xi )}ma{x}_{(\lambda ,u)}L(w,b,\lambda ,\xi ,u)\\ s.t.{\lambda }_i\ge 0，u_i\ge 0\end{array}$$
（3）利用对偶关系求其对偶问题：
$$\{\begin{array}{l}ma{x}_{(\lambda ,u)}mi{n}_{(w,b,\xi )}L(w,b,\lambda ,\xi ,u)\\ s.t.{\lambda }_i\ge 0，u_i\ge 0\end{array}$$

然后通过对$w,b,\xi$分别求偏导并令其为0，来求解$mi{n}_{(w,b,\xi )}L(w,b,\lambda ,\xi ,u)$的最优解：
$$\{\begin{array}{l}\frac{\delta L}{\delta b}=0⟺{\sum }_{i=1}^N{\lambda }_i{y}_i=0\\ \frac{\delta L}{\delta w}=0⟺w={\sum }_{i=1}^N{\lambda }_i{y}_i{x}_i\\ \frac{\delta L}{\delta {\xi }_i}=0⟺C={\lambda }_i+u_i\end{array}$$
（4）将上面对min求得的最优解代入我们的对偶问题中，可得：
$$\{\begin{array}{l}ma{x}_{\lambda }(-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j+{\sum }_{i=1}^N{\lambda }_i)\\ s.t.0\le {\lambda }_i\le C\\ {\sum }_{i=1}^N{\lambda }_i{y}_i=0\end{array}$$

可以看到这和我们硬间隔中得到最终优化问题唯一不同就是：软间隔$0\le {\lambda }_i\le C$，而硬间隔$0\le {\lambda }_i$。

并且仍然满足KKT条件：
$$\{\begin{array}{l}{\lambda }_i(1-y_i(w^T{x}_i+b)-{\xi }_i)=0\\ {\lambda }_i\ge 0，u_i\ge 0\\ y_i(w^T{x}_i+b)\ge 1-{\xi }_i\\ {\xi }_i\ge 0,u_i{\xi }_i=0\end{array}$$

下一篇支持向量机SVM(4)——SMO算法