[机器学习]支持向量机4——SMO算法

最新推荐文章于 2022-01-08 17:59:25 发布

置顶

四月晴

最新推荐文章于 2022-01-08 17:59:25 发布

阅读量4.1k

点赞数

分类专栏：计算机视觉机器学习图像处理计算机视觉

本文链接：https://blog.csdn.net/siyue0211/article/details/80607566

版权

本文详细介绍了支持向量机（SVM）中的SMO（Sequential Minimal Optimization）算法，讲解了如何选择优化的αi,αjαi,αj，如何确定b，以及算法的基本步骤。通过SMO算法，可以解决SVM的对偶问题，找到最大化间隔的支持向量。文章还探讨了KKT条件在选择变量中的作用，并提供了确定超平面参数b的方法。" 5494843,407726,HTTP状态码详解,"['HTTP', 'Web开发', '服务器', '请求处理']

摘要由CSDN通过智能技术生成

根据上一篇的对偶问题的结论，我们现在的目的是计算下式子，也就是找到一系列 $\alpha$ 使得 $(4.1)$ 公式达到最大值。

max α \sum i = 1 m α i - 1 2 \sum i = 1 m \sum j = 1 m α i α j y i y j x i x j s t . \sum i = 1 m α i y i = 0 α i \geq 0 (4.1)

$\max \limits_{\alpha}\sum_{i=1}^{m}\alpha_i -\frac{1}{2}{\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_i\alpha_jy_iy_jx_ix_j}\\ st.\ \sum_{i=1}^{m}{\alpha_iy_i}=0\quad \alpha_i\ge 0\tag{4.1}$

换一种表达方式那么就是让找到一系列 $\alpha$ 使得 $(4.2)$ 公式达到最小值。

min α 1 2 \sum i = 1 m \sum j = 1 m α i α j y i y j x i x j - \sum i = 1 m α i s t . \sum i = 1 m α i y i = 0 α i \geq 0 (4.2)

$\min \limits_{\alpha}\frac{1}{2}{\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_i\alpha_jy_iy_jx_ix_j}-\sum_{i=1}^{m}\alpha_i \\ st.\ \sum_{i=1}^{m}{\alpha_iy_i}=0\quad \alpha_i\ge 0\tag{4.2}$

那么现在问题就是如何解

(4.2) ( 4.2 ) $(4.2)$ 公式。不难发现，这是一个二次规划的问题。可使用通用的二次规化算法来求解。然而，该问题的规模正比于训练样本数，这会在实际中造成很大的开销。SMO（Sequential Minimal Optimization）可以更高效的解决上述SVM问题。

它的基本思路是先固定 $\alpha_i$ 之外的所有参数，然后求 $\alpha_i$ 上的极值，由于存在约束 $\sum_{i=1}^{m}{\alpha_iy_i}=0$ ，若固定 $\alpha_i$ 之外的其它变量，则 $\alpha_i$ 可由其它变量导出。于是，SMO每次选择两个变量 $\alpha_i,\alpha_j$ ，并固定其它参数。

假设选择优化的参数是 $\ \alpha_1, \alpha_2 \$ ，那么需要固定其它 $\ m-2\$ 个参数。可以将 $(4.2)$ 式简化为只关于 $\ \alpha_1, \alpha_2\$ 的式子。

min α 1, α 2 1 2 (α 21 y 21 x 21 + α 22 y 22 x 22 + 2 α 1 α 2 y 1 y 2 x 1 x 2) - (α 1 + α 2) + y 1 α 1 v 1 + y 2 α 2 v 2 + C o n a t a n t v i = \sum j = 3 m α j x j y j x i i = 1, 2 (4.3)

$\begin{aligned}& \min \limits_{\alpha_1, \alpha_2}\frac{1}{2}\left( {\alpha_1^2y_1^2x_1^2 + \alpha_2^2y_2^2x_2^2 + 2\alpha_1\alpha_2y_1y_2x_1x_2}\right ) \ - \ (\alpha_1+\alpha_2) \ + \ y_1\alpha_1v_1 \ +\ y_2\alpha_2v_2 \ + \ Conatant \\ & v_i = \sum_{j=3}^{m}\alpha_jx_jy_jx_i\qquad i=1, 2 \end{aligned}\tag{4.3}$

其中 $Constant$ 代表和 $\alpha_1,\alpha_2$ 无关的常数项。由于 $y_i*y_i \ == 1\$ ，故上式可变为 $(4.4)$