机器学习：支持向量机SVM对偶问题

我的小程序：

待办计划：在不确定中前行

随笔日记：祭那些逝去的时光

上一篇得到了支持向量机的基本型：

这里称上式为主问题，对上式使用拉格朗日乘子法，得到该问题的拉格朗日函数：

其中a=(a1;a2;...;am),且a>=0，即a的每个分量都大于等于0（a指上式的阿尔法）。

可知上式中的第二项求和小于等于0。所以拉格朗日函数L<=f(x)=(1/2)*(||w||^2)。

令拉格朗日函数L对w,b的偏导数为0，可得：

因为拉格朗日函数L是凸函数，所以当L取最小值时，必有上式成立，将上式代入L即可得到L关于w,b的下界，记为：inf(L)，即拉格朗日对偶函数：

显然有inf(L)<=L<=f(x)。

设主问题f(x)的最优值（即最小值）为p,则有inf(L)<=p，即我们找到了主问题最优值的下界。

现在就转变为我们要找一个好的下界，即转变为求解如下的对偶问题（最大的下界更接近下确界，所以更好，如-5，-3都是x平方的下界，-3比-5好，因为-3更精确，更接近下确界0）：

并且满足：

上面的对偶问题max(inf(L))，记为d，则d<=p。当d=p时，称为“强对偶性”，此时一定存在a(阿尔法),w,b使得w,b是主问题的解，a(阿尔法)是对偶问题的解，所以对偶问题解决了，主问题也就解决了。一般情况下，强对偶性不成立，但若主问题是凸优化问题，并且至少存在一点w使得主问题的所有不等式约束都严格成立（指用<号或>号连结的不等式），则强对偶性成立。这里满足强对偶性。

所以解出阿尔法后，求出w,b即可得到划分超平面：

因为主问题中有不等式约束，所以上述过程还需满足KKT条件：

对偶问题的另一种推导可参见支持向量机SVM（二）

待办计划：在不确定中前行

随笔日记：祭那些逝去的时光

​​​​​​​

参考资料：

周志华《机器学习》

Boyd《凸优化》

参考博文：

支持向量机SVM（二）

支持向量机(SVM)中对偶问题的理解

相关博文：

机器学习：支持向量机SVM简述

拉格朗日乘子法原理：等式约束和不等式约束

机器学习：支持向量机SVM-软间隔