机器学习笔记-SMO序列最小最优化算法中关于解析方法的证明

最新推荐文章于 2024-11-02 10:09:29 发布

复杂混沌

最新推荐文章于 2024-11-02 10:09:29 发布

阅读量599

点赞数

分类专栏：机器学习笔记文章标签：机器学习算法人工智能

本文链接：https://blog.csdn.net/weixin_54814385/article/details/122528584

版权

机器学习笔记专栏收录该内容

35 篇文章 7 订阅

订阅专栏

SMO序列最小最优化算法中关于解析方法的证明

在SMO这篇文档中，我们已经详细介绍了SMO从0实现的详细步骤，当时在学习到生成 $\alpha_2^{new,unc}$ 时，我们只给出了定理内容，并没有介绍定理的详细证明。
即如下定理：

在如下最优化问题中
$\min\limits_{\alpha_1,\alpha_2}\,\,\,\,\,\,\,W(\alpha_1,\alpha_2)=\frac{1}{2}K_{11}\alpha_1^2+\frac{1}{2}K_{22}\alpha_2^2+y_1y_2K_{12}\alpha_1\alpha_2-\\(\alpha_1+\alpha_2)+y_1\alpha_1\sum\limits_{i=3}^N{y_i\alpha_iK_{i1}}+y_2\alpha_2\sum\limits_{i=3}^Ny_i\alpha_iK_{i2}\\ s.t.\,\,\,\,\,\alpha_1y_1+\alpha_2y_2=-\sum\limits_{i=3}^N{y_i\alpha_i}=k\\ 0\le\alpha_i\le C,\,\,\,\,\,i=1,2$
沿着未经剪辑时的解是：

$\alpha_2^{new,unc}=\alpha_2^{old}+\frac{y_2(E_1-E_2)}{\eta}$ 其中：
$\eta=K_{11}+K_{22}-2K_{12}=||\phi(x_1)-\phi(x_2)||^2$

这里只给出了定理的结果，下面将针对这个定理给出详细的证明。
证明：
首先引进记号：

${v_i} = \sum\limits_{j = 3}^N {{\alpha _j}{y_j}K({x_i},{x_j}) = g({x_i}) - \sum\limits_{j = 1}^2 {{\alpha _j}{y_j}K({x_i},{x_j}) - b} }$
其中 $g(x_i)=\sum\limits_{j=1}^N\alpha_jy_jK(x_i,x_j)+b$ ，接着可以把 $W(\alpha_1,\alpha_2)$ 进行代换得到：

$\min\limits_{\alpha_1,\alpha_2}\,\,\,\,\,\,\,W(\alpha_1,\alpha_2)=\frac{1}{2}K_{11}\alpha_1^2+\frac{1}{2}K_{22}\alpha_2^2+y_1y_2K_{12}\alpha_1\alpha_2-\\(\alpha_1+\alpha_2)+y_1\alpha_1v_1+y_2\alpha_2v_2$
既然我们的目的就是求 $\alpha_2^{new}$ 那么我们可以借助等式将目标函数化成只有 $\alpha_2^{new}$ 的函数。因此在约束条件中有： $\alpha_1y_1=k-\alpha_2y_2$ 及 $y_i^2=1$ ，于是有 $\alpha_1$ :
$\alpha_1=(k-\alpha_2y_2)y_1$
然后将 $\alpha_1$ 的式子带入 $w(\alpha_1,\alpha_2)$ 中得到：
$W(\alpha_2)=\frac{1}{2}K_{11}(k-\alpha_2y_2)^2+\frac{1}{2}K_{22}\alpha_2^2+y_2K_{12}(k-\alpha_2y_2)\alpha_2-\\((k-\alpha_2y_2)y_1+\alpha_2)+(k-\alpha_2y_2)v_1+y_2\alpha_2v_2$
上述式子中只有 $\alpha_2$ 这一个变量，于是对其求导并令其等于0得到：
$\frac{{\partial W}}{{\partial {\alpha _2}}} = {K_{11}}{\alpha _2} + {K_{22}}{\alpha _2} - 2{K_{12}}{\alpha _2} - {K_{11}}k{y_2} + {K_{12}}k{y_2} + {y_1}{y_2} - 1 - {v_1}{y_2} + {y_2}{v_2}=0$
$\begin{aligned} ({K_{11}} + {K_{22}} - 2{K_{12}}){\alpha _2} &= {y_2}({y_2} - {y_1} + k{K_{11}} - k{K_{12}} + {v_1} - {v_2})\\ &={y_2}[{y_2} - {y_1} + k{K_{11}} - k{K_{12}} + (g({x_1}) - \sum\limits_{j = 1}^2 {{y_j}{\alpha _j}{K_{1j}} - b} ) - (g({x_2}) - \sum\limits_{j = 1}^2 {{y_j}{\alpha _j}{K_{2j}} - b} )] \end{aligned}$
再将 $k=\alpha_1^{old}y_1+\alpha_2^{old}y_2$ 带入得到：
$\begin{aligned} ({K_{11}} + {k_{22}} - 2{K_{12}})\alpha _2^{new,unc} &= {y_2}(({K_{11}} + {K_{22}} - 2{K_{12}})\alpha _2^{old}{y_2} + {y_2} - {y_1} + g({x_1}) - g({x_2}))\\ &=({K_{11}} + {K_{22}} - 2{K_{12}})\alpha _2^{old} + {y_2}({E_1} - {E_2}) \end{aligned}$
设 $\eta = {K_{11}} + {K_{22}} - 2{K_{12}}$ 带入，于是得到：
$\alpha_2^{new,unc}=\alpha_2^{old}+\frac{y_2(E_1-E_2)}{\eta}$
到这里所有的证明过程已经结束，其实细看证明步骤并不难，就是一些代换和无约束求导求极值的方法，在得到解析方法的证明后，我们就可以放心使用定理了。