小白学机器学习西瓜书-第六章支持向量机(3)

在前面的讨论中，我们一直做了一个假定，即存在一个超平面能够将不同类的样本完全进行区分。但这个假定显然是比较绝对的，因此我们需要允许算法分类的一些样本出错，这就是“软间隔”。

6.6 软间隔与正则化

前面我们提出的约束为

$$\{\begin{array}{ll}{w}^T{x}_i+b\ge 1& y_i=+1\\ w^T{x}_i+b\le -1& y_i=-1\end{array}\text{\hspace{1em}(4)}$$
这里的含义是指所有的样本点均划分正确，称为硬间隔。
我们将其归纳为$$s.t.y_i(w^T{x}_i+b)\ge 1$$

我们将目标函数进行修改，使得在最大化间隔的同时，使得不满足约束的样本尽可能的少
$$\underset{w,b}{\min }\frac{1}{2}\mid \mid w\mid {\mid }^2+C\sum _{i=1}^m{l}_{0/1}(y_i(w^T{x}_i+b)-1)\text{\hspace{1em}(21)}$$

其中，C为惩罚常数，$l_{0/1}$为损失函数，当样本分类正确，则z值为0，否则为1
$$l_{0/1}(z)=\{\begin{array}{ll}1& ifz<0\\ 0& otherwise\end{array}\text{\hspace{1em}(22)}$$

当C为无穷大时，式（21）就会迫使所有样本满足约束条件，目标函数就会退化为之前的硬间隔，但当C取有限值时，算法会允许一些样本不满足约束条件。

但$l_{0/1}$这个损失函数非凸不连续，因此我们寻找替代函数，如hinge损失
$$l_{hinge(z)}=\max (0,1-z)$$

则式（21）变为
$$\underset{w,b}{\min }\frac{1}{2}\mid \mid w\mid {\mid }^2+C\sum _{i=1}^m\max (0,1-y_i(w^T{x}_i+b))\text{\hspace{1em}(23)}$$

使式子更加简约，我们引入松弛变量

令${\xi }_i=\max (0,1-y_i(w^T{x}_i+b))\ge 0$

1. 当$1-y_i(w^T{x}_i+b)>0$时，${\xi }_i=1-y_i(w^T{x}_i+b)$
2. 当$1-y_i(w^T{x}_i+b)\le 0$时，${\xi }_i=0$

因此，${\xi }_i\ge 1-y_i(w^T{x}_i+b)$

整合一下即为
$$\begin{gathered} \underset{w,b,{\xi }_i}{\min }\frac{1}{2}\mid \mid w\mid {\mid }^2+C\sum _{i=1}^m{\xi }_i \\ s.t.y_i(w^T{x}_i+b)\ge 1-{\xi }_i \\ {\xi }_i\ge 0,i=1,2,...,m\text{\hspace{1em}(24)} \end{gathered}$$

继续寻找其对偶问题求解
其拉格朗日函数($\alpha ,\mu$为乘子)为
$$\begin{gathered} L(w,b,\alpha ,\xi ,\mu )=\frac{1}{2}\mid \mid w\mid {\mid }^2+C\sum _{i=1}^m{\xi }_i+\sum _{i=1}^m{\alpha }_i(1-{\xi }_i-y_i(w^T{x}_i+b)) \\ -\sum _{i=1}^m{\mu }_i{\xi }_i\text{\hspace{1em}(25)} \end{gathered}$$

为了求拉格朗日函数关于自变量的最小值，我们分别对$(w,b,{\xi }_i)$求偏导
$$\begin{gathered} \frac{l}{\partial w}=w-\sum _{i=1}^m{\alpha }_i{y}_i{x}_i \\ \frac{l}{\partial b}=-\sum _{i=1}^m{\alpha }_i{y}_i \\ \frac{l}{\partial {\xi }_i}=C-{\alpha }_i-{\mu }_i \end{gathered}$$

使他们都为0，可得到
$$\{\begin{array}{l}w={\sum }_{i=1}^m{\alpha }_i{y}_i{x}_i\\ {\sum }_{i=1}^m{\alpha }_i{y}_i=0\\ {\alpha }_i+{\mu }_i=C\end{array}\text{\hspace{1em}(26)}$$

将其带入式（25）即可得到对偶问题
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0 \\ C\ge {\alpha }_i\ge 0,i=1,2,...,m\text{\hspace{1em}(27)} \end{gathered}$$

对比一下硬间隔的对偶问题

$$\begin{gathered} \max (\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j) \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0,i=1,\mathrm{2...},m\text{\hspace{1em}(17)} \end{gathered}$$

可以发现，区别主要在于$\alpha$的取值

接下来给出KKT条件
$$\{\begin{array}{l}1-{\xi }_i-y_i(w^T{x}_i+b)\le 0\\ {\alpha }_i(1-{\xi }_i-y_i(w^T{x}_i+b))=0\\ {\xi }_i\ge 0\\ {\alpha }_i\ge 0\\ {\mu }_i\ge 0\\ {\mu }_i{\xi }_i=0\end{array}\text{\hspace{1em}(28)}$$

=>
$$\{\begin{array}{l}1-{\xi }_i-y_{i}f(x_i)\le 0\\ {\alpha }_i(1-{\xi }_i-y_{i}f(x_i))=0\\ {\xi }_i\ge 0\\ {\alpha }_i\ge 0\\ {\mu }_i\ge 0\\ {\mu }_i{\xi }_i=0\end{array}\text{\hspace{1em}(29)}$$

对于任意样本，总有${\alpha }_i=0$ or $1-{\xi }_i-y_{i}f(x_i)=0$

1. 如果${\alpha }_i=0$，对$f(x)$没有影响，如果${\alpha }_i>0$，那么$1-{\xi }_i-y_{i}f(x_i)=0$，那么该样本为支持向量
2. 有式（26）可知，若${\alpha }_i<C$，则${\mu }_i>0$，进而${\xi }_i=0$，即该样本在最大间隔边界上。
3. 若${\alpha }_i=C$，则${\mu }_i=0$，此时${\xi }_i\le 1$，则该样本落在最大间隔边界内部，若${\xi }_i>1$，则该样本被错误分类