机器学习——软间隔SVM

---

以下内容均为个人理解，如有错误，欢迎指出

---

硬间隔SVM的问题

硬间隔要求间隔之间不存在任何点，这点要求非常苛刻，这也导致了硬间隔SVM对于异常点非常敏感，由于噪声的因素，可能属于A类的点分布在B类中（异常点），此时硬间隔将无法找到一个划分超平面，因此，我们导出了软间隔SVM。

软间隔SVM

什么是软间隔SVM

软间隔SVM允许部分点分布在间隔内部，此时可以解决硬间隔SVM的问题（只需将异常点放到间隔内部即可），因为间隔内部的点对于SVM的思想来说是一种错误，所以我们希望位于间隔内部的点尽可能少，其实是一种折中，即在错误较少的情况下获得不错的划分超平面

软间隔SVM的数学表达式

回顾一下硬间隔SVM的数学表达式为
$$\begin{array}{rl}& \underset{w,b}{\min }\frac{||w|{|}^2}{2}\\ & \\ & s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2.....m\end{array}$$

位于间隔内部的点满足$y_i(w^T{x}_i+b)<1$，我们为每个点$(x_i,y_i)$引入一个松弛变量${\epsilon }_i$，对于间隔内部的点，满足
$$\begin{array}{rl}& {\epsilon }_i>0\\ & \\ & y_i(w^T{x}_i+b)+{\epsilon }_i\ge 1\end{array}$$
而间隔外的点和支持向量，只需满足${\epsilon }_i=0$即可，综上，对于软间隔SVM，我们的约束条件变为
$$\begin{array}{rl}& {\epsilon }_i\ge 0\\ & \\ & y_i(w^T{x}_i+b)+{\epsilon }_i\ge 1i=1,2.....m\end{array}$$

由于我们希望位于间隔内的点尽可能少，为了体现这个特点，我们将优化目标变为
$$\begin{array}{rl}& \min \frac{||w|{|}^2}{2}+C\sum _{i=1}^m{\epsilon }_i\\ & s.t{\epsilon }_i\ge 0\\ & \\ & y_i(w^T{x}_i+b)+{\epsilon }_i\ge 1i=1,2.....m\end{array}\text{\hspace{1em}(式1.0)}$$

其中，C>0为惩罚参数，为我们事先指定，C越大，位于间隔内部的点越少，感性一点的解释是，$\frac{||w|{|}^2}{2}+C{\sum }_{i=1}^m{\epsilon }_i$由两部分组成，$\frac{||w|{|}^2}{2}$和$C{\sum }_{i=1}^m{\epsilon }_i$，C越大，则$C{\sum }_{i=1}^m{\epsilon }_i$对于取值的占比越大，此时为了让式子取最小，则会有尽可能多的${\epsilon }_i$趋近于0

软间隔SVM的求解

由于${\epsilon }_i(i=1,2.....m)$为仿射函数，因此，我们仍然可以对式1.0使用拉格朗日对偶，则有下列过程
$$\begin{array}{r}L(w,b,\alpha ,\beta ,\epsilon )=\frac{||w|{|}^2}{2}+C\sum _{i=1}^m{\epsilon }_i+\sum _{i=1}^m{\alpha }_i(1-{\epsilon }_i-y_i(w^T{x}_i+b))-\sum _{i=1}^m{\beta }_i{\epsilon }_i\end{array}\text{\hspace{1em}(式1.1)}$$

拉格朗日对偶函数为$\underset{\alpha ,\beta }{\max }\underset{w,b,\epsilon }{\min }L(w,b,\alpha ,\beta ,\epsilon )$，若固定$\alpha ,\beta$，式1.1为$w,b,\epsilon$的凸函数，对$w,b,\epsilon$求导得
$$\frac{\partial L(w,b,\alpha ,\beta ,\epsilon )}{\partial w}=\left\{\begin{array}{cc}& w_1-{\sum }_{i=1}^m{\alpha }_i{y}_i{x}_{i1}\\ & w_2-{\sum }_{i=1}^m{\alpha }_i{y}_i{x}_{i2}\\ & .....\\ & w_n-{\sum }_{i=1}^m{\alpha }_i{y}_i{x}_{i1}\end{array}\right\}=w-\sum _{i=1}^m{\alpha }_i{y}_i{x}_i=0$$
$$\frac{\partial L(w,b,\alpha ,\beta ,\epsilon )}{\partial b}=\sum _{i=1}^m{\alpha }_i{y}_i=0$$
$${\alpha }_i+{\beta }_i=C(i=1,2,...,m)$$

将上述式子代入式1.0，可得
$$\begin{array}{rl}& \min \frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^m{\alpha }_i\\ & \\ & s.t{\alpha }_i\ge 0\\ & \\ & {\beta }_i\ge 0(i=1,2,...,m)\\ & \\ & {\alpha }_i+{\beta }_i=C\end{array}$$
由于${\beta }_i=C-{\alpha }_i$，所以有$C-{\alpha }_i\ge 0$，即$C\ge {\alpha }_i$，则最终的优化对象为

$$\begin{array}{rl}& \min \frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^m{\alpha }_i\\ & \\ & s.t0\le {\alpha }_i\le C(i=1,2,...,m)\end{array}\text{\hspace{1em}(式1.2)}$$

接下来，我们使用SMO算法对其进行优化，我们将展现SMO算法的具体细节

SMO算法求解软间隔SVM

我们选择${\alpha }_1,{\alpha }_2$作为可变元，剩下的${\alpha }_i(i=3,....m)$不变，式1.3的原型为
$$\begin{array}{rl}& \frac{1}{2}\sum _{i=1}^m{\alpha }_i{y}_i{x}_i\sum _{j=1}^m{\alpha }_j{y}_j{x}_j-\sum _{i=1}^m{\alpha }_i\\ =& \frac{1}{2}({\alpha }_1{y}_1{x}_1+{\alpha }_2{y}_2{x}_2+....+{\alpha }_m{y}_m{x}_m)({\alpha }_1{y}_1{x}_1+{\alpha }_2{y}_2{x}_2+....+{\alpha }_m{y}_m{x}_m)-\sum _{i=1}^m{\alpha }_i\\ =& \frac{1}{2}{\alpha }_1^2{y}_1^2{x}_1^T{x}_1+\frac{1}{2}{\alpha }_2^2{y}_2^2{x}_2^T{x}_2+{\alpha }_1{\alpha }_2{y}_1{y}_2{x}_1^T{x}_2+{\alpha }_1{y}_1{x}_1^T\sum _{i=3}^m{\alpha }_i{y}_i{x}_i+\\ & {\alpha }_2{y}_2{x}_2^T\sum _{i=3}^m{\alpha }_i{y}_i{x}_i-{\alpha }_1-{\alpha }_2+H+K（式1.3）\end{array}$$
其中
$$\begin{array}{rl}& H=\frac{1}{2}\sum _{i=3}^m\sum _{j=3}^m{\alpha }_i{y}_i{\alpha }_j{y}_j{x}_i^T{x}_j\\ & K=-\sum _{i=3}^m{\alpha }_i\end{array}$$

设$k_{ij}=x_i^T{x}_j$，则式1.3变为
$$\begin{gathered} \frac{1}{2}{k}_{11}{\alpha }_1^2+\frac{1}{2}{k}_{22}{\alpha }_2^2+{\alpha }_1{\alpha }_2{y}_1{y}_2{k}_{12}+{\alpha }_1{y}_1\sum _{i=3}^m{\alpha }_i{y}_i{k}_{i1} \\ +{\alpha }_2{y}_2\sum _{i=3}^m{\alpha }_i{y}_i{k}_{i2}+H+K-{\alpha }_1-{\alpha }_2\text{\hspace{1em}(式1.4)} \end{gathered}$$

由于${\alpha }_1{y}_1+{\alpha }_2{y}_2+{\sum }_{i=3}^m{\alpha }_i{y}_i=0$，所以有${\alpha }_1{y}_1+{\alpha }_2{y}_2=-{\sum }_{i=3}^m{\alpha }_i{y}_i$，令$\xi =-{\sum }_{i=3}^m{\alpha }_i{y}_i$，则${\alpha }_1=\xi y_1-{\alpha }_2{y}_1{y}_2$，将其代入式1.3可得
$$\begin{gathered} \frac{1}{2}{k}_{11}(\xi -{\alpha }_2{y}_2{)}^2+\frac{1}{2}{k}_{22}{\alpha }_2^2+{\alpha }_2{y}_2{k}_{12}(\xi -{\alpha }_2{y}_2)+{\alpha }_2{y}_2{v}_2+(\xi -{\alpha }_2{y}_2)v_1 \\ -({\alpha }_1+\xi y_1-{\alpha }_2{y}_1{y}_2)\text{\hspace{1em}(式1.5)} \end{gathered}$$
其中$$\begin{gathered} v_1=\sum _{i=3}^m{\alpha }_i{y}_i{k}_{i1} \\ {v}_2=\sum _{i=3}^m{\alpha }_i{y}_i{k}_{i2} \end{gathered}$$
式1.5是一个二次函数，其二次项系数为$\frac{1}{2}{k}_{11}+\frac{1}{2}{k}_{22}-k_{12}$，到这里其实就是一个高中数学题了，我们将问题重新表述一遍，即
$$\begin{array}{rl}\min & \frac{1}{2}{k}_{11}(\xi -{\alpha }_2{y}_2{)}^2+\frac{1}{2}{k}_{22}{\alpha }_2^2+{\alpha }_2{y}_2{k}_{12}(\xi -{\alpha }_2{y}_2)+{\alpha }_2{y}_2{v}_2+(\xi -{\alpha }_2{y}_2)v_1-({\alpha }_1+\xi y_1-{\alpha }_2{y}_1{y}_2)\\ & \\ s.t& 0\le {\alpha }_1\le C⟹0\le \xi y_1-{\alpha }_2{y}_1{y}_2\le C\\ & \\ & 0\le {\alpha }_2\le C\end{array}$$
其二次项系数为$\frac{1}{2}{k}_{11}+\frac{1}{2}{k}_{22}-k_{12}$，即在定义域内求二次函数极值的问题
我们对二次项次数进行分类讨论（绝大多数资料都会画图，这里我们直接用解高中题的思路就可以求解了）

1.$\frac{1}{2}{k}_{11}+\frac{1}{2}{k}_{22}-k_{12}>0$,式1.5为开口向上的二次函数

此时对式1.5求导置0可得${\alpha }_2$的新值为：
$${\alpha }_2^{new}=\frac{y_2(-k_{12}\xi +k_{11}\xi -v_1+v_2+y_2-y_1)}{k_{11}+k_{22}-2k_{12}}$$
由于$v_1={\sum }_{i=3}^m{\alpha }_i{y}_i{k}_{i1},v_2={\sum }_{i=3}^m{\alpha }_i{y}_i{k}_{i2},\xi ={\alpha }_1{y}_1+{\alpha }_2{y}_2$，设$g(x_i)={\sum }_{j=1}^m{\alpha }_j{y}_j{k}_{ji}+b$故有
$$\begin{array}{rl}& y_2(-k_{12}\xi +k_{11}\xi -v_1+v_2+y_2-y_1)\\ =& y_2(y_2-y_1+g(x_1)-g_{(}{x}_2)+\sum _{j=1}^2{y}_j{\alpha }_j{k}_{j1}-\sum _{j=1}^2{y}_j{\alpha }_j{k}_{j2}+(k_{11}-k_{12})({\alpha }_1{y}_1+{\alpha }_2{y}_2))\\ =& y_2(y_2-y_1+g(x_1)+g(x_2)+\sum _{j=1}^2{\alpha }_j{y}_j{k}_{j2}-\sum _{j=1}^2{\alpha }_j{y}_j{k}_{j1}+{\alpha }_1{y}_1{k}_{11}-{\alpha }_j{y}_1{k}_{12}+{\alpha }_2{y}_2{k}_{11}-{\alpha }_2{y}_2{k}_{12})\\ =& y_2(y_2-y_1+g(x_1)-g(x_2)+{\alpha }_2{y}_2{k}_{22}+{\alpha }_2{y}_2{k}_{11}-2{\alpha }_2{y}_2{k}_{12})\end{array}$$
所以有
$$\begin{array}{rl}{\alpha }_2^{new}=& \frac{y_2(y_2-y_1+g(x_1)-g(x_2)+{\alpha }_2{y}_2{k}_{22}+{\alpha }_2{y}_2{k}_{11}-2{\alpha }_2{y}_2{k}_{12})}{k_{11}+k_{22}-2k_{12}}\\ =& \frac{y_2(E_1-E_2)}{k_{11}+k_{22}-2k_{12}}+{\alpha }_2\end{array}$$
其中，$E_i=g(x_i)-y_i$
由于大部分求解思路
$当y_1=1,y_2=1$，首先先确定定义域，我们有$$\begin{array}{rl}& \xi -C\le {\alpha }_2\le \xi \\ & 0\le {\alpha }_2\le C\end{array}$$
定义域为$[\max (0,\xi -C),\min (C,\xi )]$，因此，我们有
$${\alpha }_2^{new}=\{\begin{array}{rl}& \max (0,\xi -C)\frac{y_2(E_1-E_2)}{k_{11}+k_{22}-2k_{12}}+{\alpha }_2<\max (0,\xi -C)\\ & \frac{y_2(E_1-E_2)}{k_{11}+k_{22}-2k_{12}}+{\alpha }_2\max (0,\xi -C)\le \frac{y_2(E_1-E_2)}{k_{11}+k_{22}-2k_{12}}+{\alpha }_2\le \max (0,\xi -C)\\ & \min (C,\xi )\frac{y_2(E_1-E_2)}{k_{11}+k_{22}-2k_{12}}+{\alpha }_2>\min (C,\xi )\end{array}$$
当$y_1,y_2$取其他值时，也具有类似的结构，在此不赘述

2.$\frac{1}{2}{k}_{11}+\frac{1}{2}{k}_{22}-k_{12}=0$，此时式1.5为一个一次函数，依据斜率取对应的定义域边界值

3.$\frac{1}{2}{k}_{11}+\frac{1}{2}{k}_{22}-k_{12}<0$，此时式1.5为一个开口向下的二次函数，求解思路与$\frac{1}{2}{k}_{11}+\frac{1}{2}{k}_{22}-k_{12}>0$一致，在此不赘述

选择两个α的方法(未解释原因，只阐明步骤)

以下内容摘自关于SVM数学细节逻辑的个人理解（三） ：SMO算法理解
找第一个参数的具体过程是这样的：

①遍历一遍整个数据集，对每个不满足KKT条件的参数，选作第一个待修改参数
②在上面对整个数据集遍历一遍后，选择那些参数满足的子集，开始遍历，如果发现一个不满足KKT条件的，作为第一个待修改参数，然后找到第二个待修改的参数并修改，修改完后，重新开始遍历这个子集
③遍历完子集后，重新开始①②，直到在执行①和②时没有任何修改就结束

找第二个参数的过程是这样的：

①启发式找，找能让$|E_1-E_2|$最大的${\alpha }_2$