从零开始学习SVM（三）---SMO算法原理

前两节我们一直在介绍svm的原理，优化目标函数，并且已经推导出了最后的目标函数，现在终于要求解这个问题了并得到模型，在上一节《从零开始学习SVM（二）—松弛变量》中我们介绍了松弛变量的的概念，推导出了加入松弛变量后的目标函数并且后面将会一直使用这个目标函数：

$$max_\alpha \quad\sum_{i=1}^{m}\alpha_i-\frac{1}{2}\sum_{i=1}^{m}{\sum_{j=1}^{m}\alpha_i\alpha_jy_iy_jx_i^Tx_j} \quad （1）$$
$$s.t. \quad \sum_{i=1}^{m}\alpha_iy_i=0\quad(1.1)$$ $$C\geqslant\alpha_i \geqslant0,i=1,2,\dots,m$$
KKT条件：
$$\alpha_i\geqslant0$$ $$y_if(x_i)-1+\zeta_i\geqslant0$$ $$\alpha_i(y_if(x_i)-1+\zeta_i)=0$$ $$\zeta_i\geqslant0,u_i\zeta_i=0$$
有了优化目标之后，我们终于到了介绍如何求出最优解的部分：SMO算法。当然解决办法有很多中，在笔者查看了众多资料后大多数就是推荐使用SMO（Sequential Minimal Optimization；序列最小优化）算法，这种算法高效，求解时间短。
还记得我们的模型公式吗？
$$f(x)=w^Tx+b$$
也就是说我们求解出来w与b这个模型就算得到了，还记得在第一节中我们在得到最初的目标函数的对偶函数时候， 我们得到了 $w$的另一种表示方式
$$\frac{ \Game L(w,b,a)}{\Game w}=w-\sum_{i=1}^{m}\alpha_iy_ix_i=0$$ 代入模型函数
$$f(x)=\sum_{i,j}^{m}\alpha_iy_i(x_i)^Tx_j+b\quad （2）$$ 也就是说我们只要求解出每个样本对应的拉格朗日乘子 $\alpha_i$就能求出模型。可是这 $\alpha_i=${ $\alpha_1,\alpha_2,\dots,\alpha_m$}这参数也太多了，但是别忘了我们求出了优化目标函数的对偶函数函数（1），但是这仍然要求很多参数啊，别急我们先介绍一个优化目标的思路。就拿最近比较火的游戏《荒野求生》又叫吃鸡的游戏来说吧，在游戏过程中经常会在一段时间后刷圈，只有在圈内我们才能苟活，每刷一次我们就得往圈内跑，可是怎么跑呢？各路都有人，我们是直直的跑（一般这样会很快gg），还是绕开各路人马，让他们厮杀我们坐收渔翁之利？我们想要安全的到达圈内当然是绕着跑啦。这与我们的求解思路是不是很一直？我们想要求解出参数，想要直奔目标直接对目标函数求解肯定很费事，我敢说你很快就会gg,但是如果我们绕开这个目标函数最优解，而是通过先优化其中的两个，其他的不管，然后循环这样操作，直到所有的参数 $\alpha_i$都满足KKT条件是不是也可以达到我们的目标呢？当然是啦，看下图，红线代表直奔目标，这样是很快，但是很容易gg啊，还是蓝线我们一点一点的达到目标，我们先达到一个方向的最优，先按照一个方向固定其他方式，当所有方向都达到最优我们也达到了我们目标

同理，SMO算法就是让我们先固定其中的两个参数 $\alpha_1,\alpha_2$其他的不管，然后依次随机的抽取两个 $\alpha$对，知道所有的 $\alpha$都满足KKT条件，那么不就得到了我们优化目标了吗？
为什么要固定两个呢？一个，两个，三个，四个不行吗？
还记得我们之前得到的一个kkt条件吗？就是上面的（1.1）约束条件: $$\sum_{i=1}^{m}\alpha_iy_i=0$$
没错就是它，因为我们要满足这个条件，所以我们只改变其中的一个 $\alpha_i$肯定不行啊，因为这样还会等于0吗？那么这么说3个4个也可以啊，是可以啊，但是2个不是简单嘛！！也就是说 $$\alpha_1y_1+\alpha_2y_2+\sum_{i=3}^{m}\alpha_iy_i=0$$ $$\alpha_1y_1+\alpha_2y_2=-\sum_{i=3}^{m}\alpha_iy_i$$ 令： $$\alpha_1y_1+\alpha_2y_2=\epsilon$$ 无论你怎么改变 $\alpha_1,\alpha_2$反正和为常量。设更新后的 $\alpha$分别为 $\alpha_1^{new},\alpha_2^{new}$,所以 $$\alpha_1y_1+\alpha_2y_2=\alpha_1^{new}y_1+\alpha_2^{new}y_2=\epsilon \quad (3)$$ 可是哪些 $\alpha$需要被该变呢？有什么标准呢？当然是KKT条件啦，只要满足约束就是好的，不满足则需要改变进行优化。还记得这个约束条件吗？ $$s.t.\quad y_i(w^Tx_i+b)\geqslant1，i=1,2,3\dots,m.$$ 也就是 $y_if(x_i)\geqslant1$ 与（1.1）约束，首先找到满足约束的 $\alpha$,我们可知：
$$\alpha_i=0,y_if(x_i)>1\quad表示被正确分类到两个边界线之外$$ $$0\leqslant\alpha_i\leqslant C,y_if(x_i)=1\quad表示在两个边界之上，属于支持向量$$ $$\alpha_i= C,y_if(x_i)<1\quad表示在两个边界之内$$
以上都是满足约束的，除了这些其他的都是不满足约束的，也就是需要优化的。
由公式（3），我们假设 $y_1与y_2$异号，即 $\alpha_1-\alpha_2=\epsilon$ 因为 $0<\alpha_1,\alpha_2<C;\quad \alpha_2=\alpha_1-\epsilon \quad$则： $-\epsilon<\alpha_2<C-\epsilon$因为 $0<\alpha_2<C$这个条件，所以我们取两者的交集，即： $$max(0,-\epsilon)<\alpha_2<min(C,C-\epsilon)$$ 同理可得： $$max(0,\epsilon)<\alpha_2<min(C,C+\epsilon)$$

黄色区域是满足约束的区域，不仅要在黄色区域内，并且还得在 $\alpha_1-\alpha_2=\epsilon$这条直线上。如果两者是同号的同理可得：
我为了简化公式，把 $\alpha_1$用 $\alpha_2$表示
$$\alpha_1y_1+\alpha_2y_2=-\sum_{i=3}^{m}\alpha_iy_i=\epsilon$$ 两边同乘以 $y_1$ $$\alpha_1+y_1y_2\alpha_2=-y_1\sum_{i=3}^{m}\alpha_iy_i=-y_1\epsilon$$ $$\alpha_1=-y_1\sum_{i=3}^{m}\alpha_iy_i-y_1y_2\alpha_2$$ 我们把 $a_1$带入原目标函数使得原目标函数只带有 $\alpha_2$(很多人到了这里就贴其他地方弄来的结果，也没有具体推到，直接看到结果我也很茫然，索性自己推导一遍)： $$\sum_{i=1}^{m}\alpha_i-\frac{1}{2}\sum_{i=1}^{m}{\sum_{j=1}^{m}\alpha_i\alpha_jy_iy_jx_i^Tx_j}$$ 可得： $$\alpha_1+\alpha_2+\sum_{i=3}^{m}\alpha_i-\frac{1}{2}\alpha_1\alpha_1y_1y_1K(x_1,x_1)-\frac{1}{2}\alpha_1\alpha_2y_1y_2K(x_1,x_2)-\frac{1}{2}\alpha_2\alpha_1y_2y_1K(x_2,x_1)-\frac{1}{2}\alpha_2\alpha_2y_2y_2K(x_2,x_2)$$ $$-\frac{1}{2}\alpha_1y_1\sum_{j=3}^{m}y_j\alpha_jK(x_1,x_j)-\frac{1}{2}\alpha_2y_2\sum_{j=3}^{m}y_j\alpha_jK(x_2,x_j)-\frac{1}{2}\alpha_1y_1\sum_{i=3}^{m}y_i\alpha_jK(x_i,x_1)$$ $$-\frac{1}{2}\alpha_2y_2\sum_{i=3}^{m}y_i\alpha_jK(x_i,x_2)-\frac{1}{2}\sum_{i=3}^{m}{\sum_{j=3}^{m}\alpha_i\alpha_jy_iy_jK(x_i,x_j)}$$ 令： $$\sum_{i=3}^{m}\alpha_i-\frac{1}{2}\sum_{i=3}^{m}{\sum_{j=3}^{m}\alpha_i\alpha_jy_iy_jK(x_i,x_j)}=Const(常量)$$ $$Q=-y_1\sum_{i=3}^{m}\alpha_iy_i;\quad y_1y_2\alpha_2=W\alpha_2$$ $$\alpha_1=Q-W\alpha_2$$ $$V_1=\sum_{j=3}^{m}y_j\alpha_jK(x_1,x_j)$$ $$V_2=\sum_{j=3}^{m}y_j\alpha_jK(x_2,x_j)$$ 整理可得: $$\alpha_1+\alpha_2-\frac{1}{2}\alpha_1\alpha_1K(x_1,x_1)-\alpha_1\alpha_2WK(x_1,x_2)-\frac{1}{2}\alpha_2\alpha_2K(x_2,x_2)-$$ $$\alpha_1y_1V_1-\alpha_2y_2V_2-Const$$ 带入 $a_1$可得： $$(Q-W\alpha_2)+\alpha_2-\frac{1}{2}(Q-W\alpha_2)^2K(x_1,x_1)-\alpha_2(Q-W\alpha_2)WK(x_2,x_1)-$$ $$\frac{1}{2}\alpha_2\alpha_2K(x_2,x_2)-(Q-W\alpha_2)y_1V_1-\alpha_2y_2V_2-Const$$ 其中K(x,y)代表x与y的内积。 对 $\alpha_2进行求导$： $$①\quad 1-W+(Q-W\alpha_2)Wk(x_1,x_1)-$$ $$(Q-2W\alpha_2)WK(x_1,x_2)-\alpha_2K(x_2,x_2)+y_2V_1-y_2V_2$$ $$②\quad 1-W+WQ(K(x_1,x_1)-K(x_1,x_2)）-\alpha_2(2K(x_1,x_2)-K(x_1,x_1)-K(x_2,x_2)))+y_2(V_1-V_2)$$ $$③\quad 1-W+y_2(V_1-V_2)+WQ(K(x_1,x_1)-K(x_1,x_2)）=\alpha_2(2K(x_1,x_2)-K(x_1,x_1)-K(x_2,x_2)))$$ 这时候我们就求到了一般形式，我们继续简化公式： $$f(x_i)=w^Tx_i+b$$ 把w换为之前对目标函数求偏导获取的值： $$f(x_i)=\sum_{j}^{m}\alpha_jy_jK(x_i,x_j)+b$$ 所以: $$V_i=\sum_{j=3}^{m}y_j\alpha_jK(x_i,x_j)=f(x_i)-\sum_{j=1}^{2}y_j\alpha_jK(x_i,x_j)-b$$ 带入上式可得： $$\quad 1-W+y_2(f(x_1)-f(x_2)-\sum_{j=1}^{2}y_j\alpha_jK(x_1,x_j)+\sum_{j=1}^{2}y_j\alpha_jK(x_2,x_j))+WQ(K(x_1,x_1)-K(x_1,x_2)）$$ $$=\alpha_2(2K(x_1,x_2)-K(x_1,x_1)-K(x_2,x_2)))$$ 这个整体为： $$-\sum_{j=1}^{2}y_j\alpha_jK(x_1,x_j)+\sum_{j=1}^{2}y_j\alpha_jK(x_2,x_j)=$$ $$y_2\alpha_2K(x_2,x_2)-y_1\alpha_1K(x_1,x_1)$$ 步步为营，接着我们替换Q： $$\alpha_1^{new}+W\alpha_2^{new}=\alpha_1+W\alpha_2=-y_1\sum_{i=3}^{m}\alpha_iy_i=Q$$ 心好累，终于到了更新 $\alpha_2^{new}的一步了$ $$①\quad\alpha_2^{new}(2K(x_1,x_2)-K(x_1,x_1)-K(x_2,x_2)))=$$ $$\alpha_2(2K(x_1,x_2)-K(x_1,x_1)-K(x_2,x_2)))+y_2(f(x_1)-f(x_2)+y_2-y_1)$$ $$②\quad\alpha_2^{new}=\alpha_2+\frac{y_2(f(x_1)-y_1-f(x_2)+y_2)}{(2K(x_1,x_2)-K(x_1,x_1)-K(x_2,x_2)))}$$ $$③\quad\alpha_2^{new}=\alpha_2+\frac{y_2(E_1-E_2)}{\eta}$$
结合上面的 $\alpha$的取值范围： $0<\alpha_2^{new}< C$可得：

那我们$b$如何更新呢?因为在更新$\alpha$之后，那么标签$y_i$应该与$f(x_i)$值相等（x_i是支持向量）：

$$①\quad y_i=f(x_i)=\sum_{j=1}^{2}y_j\alpha_jK(x_i,x_j)+b_i$$ 经过移项后得到： $$②\quad y_i-\sum_{j=3}^{2}y_j\alpha_jK(x_i,x_j)-y_1\alpha_1^{new}K(x_i,x_1)-y_2\alpha_2^{new}K(x_i,x_2)=b_i^{new}$$ 结合 $E_i$： $$E_i=f(x_i)-y_i=$$ $$y_1\alpha_1K(x_i,x_1)+y_2\alpha_2K(x_i,x_2)+\sum_{j=3}^{2}y_j\alpha_jK(x_i,x_j)+b_i-y_i$$
猛然发现两个有共同项 $y_i-\sum_{j=3}^{2}y_j\alpha_jK(x_i,x_j)$啊！那我们联立两个方程好了：
$$b_i^{new}=-E_i+b_i+y_1\alpha_1K(x_i,x_1)+y_2\alpha_2K(x_i,x_2)$$ $$-y_1\alpha_1^{new}K(x_i,x_1)-y_2\alpha_2^{new}K(x_i,x_2)$$
但是我们取哪个b呢？当然是哪个 $\alpha_i$在（0，C）区间内取哪个，因为符合这个要求的点才是“支持向量”啊，不符合我们当然就不要，但是如何碰巧都在区间内呢？那我们就折中取b1与b2的平均值。
亲爱的读者如果你能看到这，我真心的感谢你对我的支持与认可，如果有任何疑问欢迎交流提问。我真的很想把代码也写上去，这样更容易理解上述过程，当时篇幅过大，使用csdn的markdown编辑器很烦，每写一句话都会重新解析，偶尔会使得浏览器死掉难以继续写下去。到此我们的线性分类就结束了，后面会推出线性分类实例与线性不可分的介绍，欢迎关注我的微信公共号