本文详细介绍了支持向量机（SVM）中的SMO（Sequential Minimal Optimization）算法，从寻找最大间隔、对偶问题转换，到SMO的高效优化策略。通过拉格朗日乘子法，将原始问题转化为对偶问题，然后利用SMO算法求解对偶问题，最后展示了简化版SMO算法的伪代码和Python代码实现。
1.寻找最大间隔
训练样本集：D = { (x1, y1) , (x2, y2) , ... ,(xm, ym) } , yi ϵ { -1, +1}
划分超平面的线性方程：wTx + b = 0（1）
样本空间中任一点x到超平面(w, b)的距离为：
（2）
假设超平面(w, b)能将训练样本正确分类，对于(xi, yi) ϵ D， 有：
（3）
间隔为：
（4）
欲求最大间隔，即使得ϒ最大，等价于求解：
（5）
2.对偶问题
大间隔划分超平面所对应的模型为：
（6）
式（5）是一个凸二次规划问题，能直接用现代计算包求解，但我们有一个更高效的办法，即拉格朗日乘子法。
对式（5）使用拉格朗日乘子法得到其“对偶问题”。具体来说，对式（5）的每条约束添加拉格朗日乘子αi ≥ 0，该问题的拉格朗日函数可写为：
（7）
其中α = ( α1; α2; ... ; αm )。令L(w,b, α)对w和b的偏导为零可得：
（8）
（9）
将式（8）代入式（7），即可将L(w, b, α)中的α和b消去，再考虑式（9）的约束，就得到对偶问题：
（10
最低0.47元/天 解锁文章
293
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
