SVM优化--smo

最新推荐文章于 2024-05-19 18:02:34 发布

yeqiustu

最新推荐文章于 2024-05-19 18:02:34 发布

阅读量1k

点赞数

分类专栏：机器学习#SVM 文章标签：机器学习算法 svm smo算法

本文链接：https://blog.csdn.net/yeqiustu/article/details/105598280

版权

本文深入探讨支持向量机（SVM）的优化方法——SMO算法。SMO通过解决二次规划问题的迭代求解，每次选择一对变量进行优化，确保等式约束得到满足。在更新变量后，同时更新权重W和偏置b。选择优化变量的策略关注于违反分类边界的样本，以加速优化过程。通过特定规则选择使误差最大化的样本对，实现快速更新，直至所有样本满足条件或无更多可选变量，算法结束。

摘要由CSDN通过智能技术生成

本篇是SVM系列的最后一篇，将讲解SVM的求解，即SMO算法

待优化问题

回顾一下，SVM的优化问题最终可以转化为如下形式：

$\min_{\alpha}L = \min_{\alpha}\left \| \sum_{i}\alpha_i y_i X_i \right \|^2/2 - \sum_{i}\alpha_i \\ s.t. \;\; 0 \leq \alpha_i \leq C, \; \sum_{i}\alpha_i y_i = 0 \\ KKT: \forall i \left\{\begin{matrix} y_i(W^T X_i + b) \geq 1 &,& \alpha_i = 0 \\ y_i(W^T X_i + b) = 1 &,& 0 < \alpha_i < C \\ y_i(W^T X_i + b) \leq 1 &,& \alpha_i = C \\ \end{matrix}\right.$

显然，该问题同样不好直接优化求解，而Platt提出的SMO算法便是一个可以高效的求解上述问题的算法，他把原始问题的求解N个参数二次规划问题分解成多个二次规划问题进行迭代求解，即每次选择一对变量 $\left ( a_p, a_q \right )$ 而固定其它变量来进行求解；根据问题的等式约束，当 $a_p$ 变动时， $a_q$ 也要随之变动以满足等式约束。

SMO

如上陈述，选择一对变量 $\left ( a_p, a_q \right )$ 而固定其它变量，且 $\left ( a_p, a_q \right )$ 更新后仍要满足等式约束，这时有

$a_p y_p + a_q y_q = -\sum_{i \notin \{p,q\}}a_i y_i = \beta = a_p^{old} y_p + a_q^{old} y_q \;\; \Rightarrow a_p = y_p \beta - a_q y_p y_q$ (1)，

化简L得到：

$L =1/2 \left \| \sum_{i}a_i y_i X_i \right \|^2 - \sum_{i}a_i \\ =1/2 \left \| a_p y_p X_p + a_q y_q X_q + \sum_{i \notin \{p,q\}}}a_i y_i X_i \right \|^2 - \{a_p + a_q + \sum_{i \notin \{p,q\}}}a_i \}$

设

最低0.47元/天解锁文章

yeqiustu

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
SVM优化--smo

本篇是SVM系列的最后一篇，将讲解SVM的求解，即SMO算法待优化问题回顾一下，SVM的优化问题最终可以转化为如下形式：显然，该问题同样不好直接优化求解，而Platt提出的SMO算法便是一个可以高效的求解上述问题的算法，他把原始问题的求解N个参数二次规划问题分解成多个二次规划问题进行迭代求解，即每次选择一对变量而固定其它变量来进行求解；根据问题的等式约束，当变动时，也要随之变动以满...
复制链接

扫一扫