SVM支持向量机+python代码复现(二)

KKT条件

​ 对于b的值，我们需要引入KKT条件，只要原问题和对偶问题是强对偶关系，那么我们就说其满足KKT条件，此处不做证明，感兴趣的读者可以自己查阅。对于我们此处要解决的问题，其一定满足以下条件
$$\{\begin{array}{c}\frac{\partial L(w,b,\lambda )}{\partial w}=0,\frac{\partial L(w,b,\lambda )}{\partial b}=0.\\ {\lambda }_i[1-y_i(w^T{x}_i+b)]=0.\\ 1-y_i(w^T{x}_i+b)\le 0.\\ {\lambda }_i\ge 0.\end{array}$$
​ 对于KKT条件，因为${\lambda }_i[1-y_i(w^T{x}_i+b)]=0$，所以要么就是${\lambda }_i=0$，要么就是$1-y_i(w^T{x}_i+b)=0$，

我们要寻找b的表达式，显然在等式中，里面包含有b这个量，但倘若是${\lambda }_i=0$，那么等式中的b也会毫无意义，因此，为了寻找b，只能够在λ不为0的时候找到。所以
$$\begin{array}{c}\begin{array}{rl}& {\lambda }_i[1-y_i(w^T{x}_i+b)]=0\to 1-y_i(w^T{x}_i+b)=0\\ 即& y_i(w^T{x}_i+b)=1\\ 等式左右乘以& w^T{x}_i+b=y_i\\ 即& b=y_i-w^T{x}_i=y_i-\sum _{i=1}^n{\lambda }_i{y}_i{x}_i^T{x}_i\end{array}\end{array}$$
​ 至此，我们得到
$$w=\sum _{i=1}^n{\lambda }_i{y}_i{x}_i;b=y_i-\sum _{i=1}^n{\lambda }_i{y}_i{x}_i^T{x}_i$$
​ 那么接下来的问题就变成了如何求出w、b中打拉格朗日算子λ。我们回到对偶问题
$$\{\begin{array}{c}\underset{\lambda }{\max }\sum _{i=1}^n{\lambda }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{y}_i{\lambda }_j{y}_j{x}_i^T{x}_j\\ s.t.{\lambda }_i\ge 0.i\in 1,2,\cdots n\\ \sum _{i=1}^n{\lambda }_i{y}_i=0\end{array}$$
​ 乍一看，我们好像又回到了原点，这到底还是一个带有n个约束的极值问题，但是，现在的目标函数中，已经没有了w，b，只有λ这一个变量了，并且我们还有了w，b与λ的关系式。因此，我们只需要求出λ，就可以了。

SMO算法

​ SMO算法和坐标上升法有些类似，先了解一下坐标上升法对SMO有很大帮助。

坐标上升法

​ 举个栗子，假设我们现在有一个二元函数。
$$f(x_1,x_2)=2x_1^2-3x_2^2+x_1{x}_2$$
​ 如果我们要求它的极值，那么就可以使用坐标上升法。

​ 坐标上升法的核心思想是，选定一个变量，固定住其余的变量，然后求导不断迭代求出最终的结果。

​ 比如在上面的例子中，我们选定$x_1$，固定$x_2$，然后对$x_1$求导得0
$$4x_1+x_2=0\to x_1=-\frac{x_2}{4}$$
​ 再选定$x_2$，固定住$x_1$，对$x_2$求导得0
$$-6x_2+x_1=0\to x_2=\frac{x_1}{6}$$
​ 得到了$x_1、x_2$的公式，接下来我们只需要随机初始化$x_1,x_2$的值，比如$x_1=1,x_2=2$，接下来就开始迭代

​ ①选定$x_1$，固定$x_2$，$x_1=-\frac{2}{4}=-0.5$

​ ②选定$x_2$，固定$x_1$，$x_2=\frac{-0.5}{6}$

​ ③循环①②步骤，直到模型收敛。

​ 为什么坐标上升法可以收敛？道上的事儿少打听。总之这种方法就是可以逐渐逼近收敛。实际上就是一个一个分量（方向）地走。

​ 而SMO与坐标上升法类似，只不过SMO是固定两个分量罢了，其他都一样。为什么要固定两个分量？既然坐标上升法理论上可以收敛了，为什么不直接采用呢？我们来看$\sum _{i=1}^n{\lambda }_i{y}_i=0$这个约束条件，如果我们选定了了${\lambda }_1$，固定其余变量，那么依据约束条件，我们直接就可以算出${\lambda }_1$的值了，就没有意义了啊。

​ 那么我们对下面的目标函数先保留${\lambda }_1、{\lambda }_2$。
$$\{\begin{array}{c}\underset{\lambda }{\max }\sum _{i=1}^n{\lambda }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{y}_i{\lambda }_j{y}_j{x}_i^T{x}_j\\ s.t.{\lambda }_i\ge 0.i\in 1,2,\cdots n\\ \sum _{i=1}^n{\lambda }_i{y}_i=0\end{array}$$

​ 对于约束条件保留，我们拆开
$$\begin{array}{c}\begin{array}{rl}& {\lambda }_1{y}_1+{\lambda }_2{y}_2+\sum _{i=3}^n{\lambda }_i{y}_i=0\\ & 因为：\sum _{i=3}^n{\lambda }_i{y}_i是一个定值\\ & 令：\sum _{i=3}^n{\lambda }_i{y}_i=-C\\ & 得：{\lambda }_1{y}_1=C-{\lambda }_2{y}_2\\ & 左右两边乘以y_1得：\\ & {\lambda }_1=(C-{\lambda }_2{y}_2)y_1\end{array}\end{array}$$
​ 对于目标函数，我们拆开
$$\begin{array}{c}\begin{array}{rl}L({\lambda }_1,{\lambda }_2)=& \sum _{i=1}^n{\lambda }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{y}_i{\lambda }_j{y}_j{x}_i^T{x}_j\\ & ={\lambda }_1+{\lambda }_2+\sum _{i=3}^n{\lambda }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{y}_i{\lambda }_j{y}_j{x}_i^T{x}_j\end{array}\end{array}$$

​ 对于后面的$\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{y}_i{\lambda }_j{y}_j{x}_i^T{x}_j$，我们单独写开，因为有点复杂。并且为了表达简便，令$x_i^T{x}_j=K_{ij}=K_{ji}$。

​
$$\begin{array}{c}\begin{array}{rl}& 对于\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{y}_i{\lambda }_j{y}_j{x}_i^T{x}_j\\ & 有以下几种可能\\ & ①i=1,j=1\to {\lambda }_1{y}_1{\lambda }_1{y}_1{K}_{11}\to {\lambda }_1^2{K}_{11}\\ & ②i=1,j=2\to {\lambda }_1{y}_1{\lambda }_2{y}_2{K}_{12}\\ & ③i=1,j\ge 3\to \sum _{j=3}^n{\lambda }_1{y}_1{\lambda }_j{y}_j{K}_{1j}\\ & ④i=2,j=1\to {\lambda }_2{y}_2{\lambda }_1{y}_1{K}_{21}\\ & ⑤i=2,j=2\to {\lambda }_2{y}_2{\lambda }_2{y}_2{K}_{22}\to {\lambda }_2^2{K}_{22}\\ & ⑥i=2,j\ge 3\to \sum _{j=3}^n{\lambda }_2{y}_2{\lambda }_j{y}_j{K}_{2j}\\ & ⑦i\ge 3,j=1\to \sum _{i=3}^n{\lambda }_i{y}_i{\lambda }_1{y}_1{K}_{i1}\\ & ⑧i\ge 3,j=2\to \sum _{i=3}^n{\lambda }_i{y}_i{\lambda }_2{y}_2{K}_{i2}\\ & ⑨i\ge 3,j\ge 3\to \sum _{i=3}^n\sum _{j=3}^n{\lambda }_i{y}_i{\lambda }_j{y}_j{K}_{ij}\end{array}\end{array}$$
​ 接着只需要合并同类项然后相加，再乘以前面的\frac{1}{2}即可
$$\begin{gathered} \begin{array}{c}\begin{array}{rl}L({\lambda }_1,{\lambda }_2)=& \sum _{i=1}^n{\lambda }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{y}_i{\lambda }_j{y}_j{x}_i^T{x}_j\\ & ={\lambda }_1+{\lambda }_2+\sum _{i=3}^n{\lambda }_i-\frac{1}{2}\left({\lambda }_1^2{K}_{11}+{\lambda }_2^2{K}_{22}+ \\ 2{\lambda }_1{y}_1{\lambda }_2{y}_2{K}_{12}+2\sum _{j=3}^n{\lambda }_1{y}_1{\lambda }_j{y}_j{K}_{1j}+2\sum _{j=3}^n{\lambda }_2{y}_2{\lambda }_j{y}_j{K}_{2j}+\sum _{i=3}^n\sum _{j=3}^n{\lambda }_i{y}_i{\lambda }_j{y}_j{K}_{ij}\right)\end{array}\end{array} \end{gathered}$$
​ 将${\lambda }_1=(C-{\lambda }_2{y}_2)y_1$代入，得
$$\begin{gathered} \begin{array}{c}\begin{array}{rl}L({\lambda }_2)& =(C-{\lambda }_2{y}_2)y_1+{\lambda }_2+\sum _{i=3}^n{\lambda }_i-\frac{1}{2}\left([(C-{\lambda }_2{y}_2)y_1{]}^2{K}_{11}+{\lambda }_2^2{K}_{22}+2[(C-{\lambda }_2{y}_2)y_1]y_1{\lambda }_2{y}_2{K}_{12}+ \\ 2\sum _{j=3}^n[(C-{\lambda }_2{y}_2)y_1]y_1{\lambda }_j{y}_j{K}_{1j}+2\sum _{j=3}^n{\lambda }_2{y}_2{\lambda }_j{y}_j{K}_{2j}+\sum _{i=3}^n\sum _{j=3}^n{\lambda }_i{y}_i{\lambda }_j{y}_j{K}_{ij}\right)\\ & =(C-{\lambda }_2{y}_2)y_1+{\lambda }_2+\sum _{i=3}^n{\lambda }_i-\frac{1}{2}\left((C{y}_1-{\lambda }_2{y}_2{y}_1{)}^2{K}_{11}+{\lambda }_2^2{K}_{22}+2C{\lambda }_2{y}_2{K}_{12}-2{\lambda }_2^2{K}_{12} \\ +2\sum _{j=3}^n(C{\lambda }_j{y}_j{K}_{1j}-{\lambda }_2{y}_2{\lambda }_j{y}_j{K}_{1j})+2\sum _{j=3}^n{\lambda }_2{y}_2{\lambda }_j{y}_j{K}_{2j}+\sum _{i=3}^n\sum _{j=3}^n{\lambda }_i{y}_i{\lambda }_j{y}_j{K}_{ij}\right)\end{array}\end{array} \end{gathered}$$
​ 对其关于${\lambda }_2$求导等于0
$$\begin{gathered} \begin{array}{c}\begin{array}{rl}& \frac{\partial L({\lambda }_2)}{\partial {\lambda }_2}\\ & =-y_2{y}_1+1-\frac{1}{2}\left(2(C{y}_1-{\lambda }_2{y}_2{y}_1)(-y_2{y}_1)K_{11}+2{\lambda }_2{K}_{22}+2C{y}_2{K}_{12}-4{\lambda }_2{K}_{12}-2\sum _{j=3}^n{y}_2{\lambda }_j{y}_j{K}_{1j} \\ +2\sum _{j=3}^n{y}_2{\lambda }_j{y}_j{K}_{2j}\right)\\ & =-y_2{y}_1+1+C{y}_2{K}_{11}-{\lambda }_2{K}_{11}-{\lambda }_2{K}_{22}-C{y}_2{K}_{12}+2{\lambda }_2{K}_{12}+\sum _{j=3}^n{y}_2{\lambda }_j{y}_j{K}_{1j}-\sum _{j=3}^n{y}_2{\lambda }_j{y}_j{K}_{2j}\\ & =-y_2{y}_1+1+C{y}_2{K}_{11}-{\lambda }_2{K}_{11}-{\lambda }_2{K}_{22}-C{y}_2{K}_{12}+2{\lambda }_2{K}_{12}+y_2\sum _{j=3}^n{\lambda }_j{y}_j{K}_{1j}-y_2\sum _{j=3}^n{\lambda }_j{y}_j{K}_{2j}=0\end{array}\end{array} \end{gathered}$$

​ 将${\lambda }_2$单独提到一边（注意，因为SMO是迭代式算法，所以我们都有一个初始的λ，为了区分,我们用${\lambda }^{new}$代表新的值，用${\lambda }^{old}$代表旧的值）
$${\lambda }_2^{new}(K_{11}+K_{22}-2K_{12})=1-y_2{y}_1+C{y}_2{K}_{11}-C{y}_2{K}_{12}+y_2\sum _{j=3}^n{\lambda }_j{y}_j{K}_{1j}-y_2\sum _{j=3}^n{\lambda }_j{y}_j{K}_{2j}$$
​ 我们知道$f(x)=w^{T}x+b$，当取$x_1$时，得
$$\begin{array}{c}\begin{array}{rl}f(x_1)& =w^T{x}_1+b\\ & =\sum _{i=1}^n({\lambda }_i{y}_i{x}_i^T{x}_1)+b\\ & ={\lambda }_1{y}_1{x}_1^T{x}_1+{\lambda }_2{y}_2{x}_2^T{x}_1+\sum _{i=3}^n({\lambda }_i{y}_i{K}_{i1})+b\\ & ={\lambda }_1{y}_1{K}_{11}+{\lambda }_2{y}_2{K}_{21}+\sum _{i=3}^n({\lambda }_i{y}_i{K}_{i1})+b\\ & 移项得：\\ & \sum _{i=3}^n({\lambda }_i{y}_i{K}_{i1})=f(x_1)-{\lambda }_1{y}_1{K}_{11}-{\lambda }_2{y}_2{K}_{21}-b\end{array}\end{array}$$
​ 同理得$x_2$
$$\sum _{i=3}^n({\lambda }_i{y}_i{K}_{i2})=f(x_2)-{\lambda }_1{y}_1{K}_{12}-{\lambda }_2{y}_2{K}_{22}-b$$
​ 因为$K_{ij}=K_{ji}$，仔细看所得的式子，它刚好在我们对${\lambda }_2$求导所得的式子，将其代入，并且此时的λ都是旧的λ
$$\begin{array}{c}\begin{array}{rl}{\lambda }_2(K_{11}+K_{22}-2K_{12})& =1-y_2{y}_1+C{y}_2{K}_{11}-C{y}_2{K}_{12}+y_2\sum _{j=3}^n{\lambda }_j{y}_j{K}_{1j}-y_2\sum _{j=3}^n{\lambda }_j{y}_j{K}_{2j}\\ & =1-y_2{y}_1+C{y}_2{K}_{11}-C{y}_2{K}_{12}+y_2\left(f(x_1)-{\lambda }_1^{old}{y}_1{K}_{11}-{\lambda }_2^{old}{y}_2{K}_{21}-b\right)\\ & -y_2\left(f(x_2)-{\lambda }_1^{old}{y}_1{K}_{12}-{\lambda }_2^{old}{y}_2{K}_{22}-b\right)\\ & =y_2(y_2-y_1+C{K}_{11}-C{K}_{12}+f(x_1)-{\lambda }_1^{old}{y}_1{K}_{11}-{\lambda }_2^{old}{y}_2{K}_{21}-b-f(x_2)+\\ & {\lambda }_1^{old}{y}_1{K}_{12}+{\lambda }_2^{old}{y}_2{K}_{22}+b)\end{array}\end{array}$$
​ 将$C={\lambda }_1{y}_1+{\lambda }_2{y}_2$回代
$$\begin{gathered} \begin{array}{c}\begin{array}{rl}& {\lambda }_2^{new}(K_{11}+K_{22}-2K_{12})\\ & =y_2\left(y_2-y_1+{\lambda }_1^{old}{y}_1{K}_{11}+{\lambda }_2^{old}{y}_2{K}_{11}-{\lambda }_1^{old}{y}_1{K}_{12}-{\lambda }_2^{old}{y}_2{K}_{12}+f(x_1)-{\lambda }_1^{old}{y}_1{K}_{11} \\ -{\lambda }_2^{old}{y}_2{K}_{21}-b-f(x_2)+{\lambda }_1^{old}{y}_1{K}_{12}+{\lambda }_2^{old}{y}_2{K}_{22}+b\right)\\ & =y_2\left(y_2-y_1+{\lambda }_2^{old}{y}_2{K}_{11}-2{\lambda }_2^{old}{y}_2{K}_{21}+f(x_1)-f(x_2)+{\lambda }_2^{old}{y}_2{K}_{22}\right)\\ & =y_2\left([f(x_1)-y_1]-[f(x_2)-y_2]+{\lambda }_2^{old}{y}_2[K_{11}+K_{22}-2K_{21}]\right)\\ & 等式两边除以K_{11}+K_{22}-2K_{21}\\ & {\lambda }_2^{new}=\frac{y_2\left([f(x_1)-y_1]-[f(x_2)-y_2]\right)}{K_{11}+K_{22}-2K_{21}}+{\lambda }_2^{old}\end{array}\end{array} \end{gathered}$$
​ 为了表达简便，我们用
$$\begin{gathered} \eta =K_{11}+K_{22}-2K_{21} \\ {E}_i=f(x_i)-y_i \end{gathered}$$
​ 所以最终
$${\lambda }_2^{new}={\lambda }_2^{old}+\frac{y_2(E_1-E_2)}{\eta }$$
​

​ 至于${\lambda }_1^{new}$,利用$C={\lambda }_1{y}_1+{\lambda }_2{y}_2$即可求出。但是仍然有一个条件，就是$\lambda$必须是大于0的。