机器学习笔记-SMO序列最小最优化算法中关于解析方法的证明

SMO序列最小最优化算法中关于解析方法的证明

在SMO这篇文档中，我们已经详细介绍了SMO从0实现的详细步骤，当时在学习到生成${\alpha }_2^{new,unc}$时，我们只给出了定理内容，并没有介绍定理的详细证明。
即如下定理：

在如下最优化问题中
$$\begin{gathered} \underset{{\alpha }_1,{\alpha }_2}{\min }W({\alpha }_1,{\alpha }_2)=\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2- \\ ({\alpha }_1+{\alpha }_2)+y_1{\alpha }_1\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i1}+y_2{\alpha }_2\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i2} \\ s.t.{\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^N{y}_i{\alpha }_i=k \\ 0\le {\alpha }_i\le C,i=1,2 \end{gathered}$$
沿着未经剪辑时的解是：

$${\alpha }_2^{new,unc}={\alpha }_2^{old}+\frac{y_2(E_1-E_2)}{\eta }$$ 其中：
$$\eta =K_{11}+K_{22}-2K_{12}=||\varphi (x_1)-\varphi (x_2)|{|}^2$$

这里只给出了定理的结果，下面将针对这个定理给出详细的证明。
证明：
首先引进记号：

$$v_i=\sum _{j=3}^N{\alpha }_j{y}_{j}K(x_i,x_j)=g(x_i)-\sum _{j=1}^2{\alpha }_j{y}_{j}K(x_i,x_j)-b$$
其中$g(x_i)=\sum _{j=1}^N{\alpha }_j{y}_{j}K(x_i,x_j)+b$，接着可以把$W({\alpha }_1,{\alpha }_2)$进行代换得到：

$$\begin{gathered} \underset{{\alpha }_1,{\alpha }_2}{\min }W({\alpha }_1,{\alpha }_2)=\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2- \\ ({\alpha }_1+{\alpha }_2)+y_1{\alpha }_1{v}_1+y_2{\alpha }_2{v}_2 \end{gathered}$$
既然我们的目的就是求${\alpha }_2^{new}$那么我们可以借助等式将目标函数化成只有${\alpha }_2^{new}$的函数。因此在约束条件中有：${\alpha }_1{y}_1=k-{\alpha }_2{y}_2$及$y_i^2=1$，于是有${\alpha }_1$:
$${\alpha }_1=(k-{\alpha }_2{y}_2)y_1$$
然后将${\alpha }_1$的式子带入$w({\alpha }_1,{\alpha }_2)$中得到：
$$\begin{gathered} W({\alpha }_2)=\frac{1}{2}{K}_{11}(k-{\alpha }_2{y}_2{)}^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_2{K}_{12}(k-{\alpha }_2{y}_2){\alpha }_2- \\ ((k-{\alpha }_2{y}_2)y_1+{\alpha }_2)+(k-{\alpha }_2{y}_2)v_1+y_2{\alpha }_2{v}_2 \end{gathered}$$
上述式子中只有${\alpha }_2$这一个变量，于是对其求导并令其等于0得到：
$$\frac{\partial W}{\partial {\alpha }_2}=K_{11}{\alpha }_2+K_{22}{\alpha }_2-2K_{12}{\alpha }_2-K_{11}k{y}_2+K_{12}k{y}_2+y_1{y}_2-1-v_1{y}_2+y_2{v}_2=0$$
$$\begin{array}{rl}(K_{11}+K_{22}-2K_{12}){\alpha }_2& =y_2(y_2-y_1+k{K}_{11}-k{K}_{12}+v_1-v_2)\\ & =y_2[y_2-y_1+k{K}_{11}-k{K}_{12}+(g(x_1)-\sum _{j=1}^2{y}_j{\alpha }_j{K}_{1j}-b)-(g(x_2)-\sum _{j=1}^2{y}_j{\alpha }_j{K}_{2j}-b)]\end{array}$$
再将$k={\alpha }_1^{old}{y}_1+{\alpha }_2^{old}{y}_2$带入得到：
$$\begin{array}{rl}(K_{11}+k_{22}-2K_{12}){\alpha }_2^{new,unc}& =y_2((K_{11}+K_{22}-2K_{12}){\alpha }_2^{old}{y}_2+y_2-y_1+g(x_1)-g(x_2))\\ & =(K_{11}+K_{22}-2K_{12}){\alpha }_2^{old}+y_2(E_1-E_2)\end{array}$$
设$\eta =K_{11}+K_{22}-2K_{12}$带入，于是得到：
$${\alpha }_2^{new,unc}={\alpha }_2^{old}+\frac{y_2(E_1-E_2)}{\eta }$$
到这里所有的证明过程已经结束，其实细看证明步骤并不难，就是一些代换和无约束求导求极值的方法，在得到解析方法的证明后，我们就可以放心使用定理了。