SVM的原问题和对偶问题模型

这两天，我翻开沉压已久的学习笔记，看到了当初总结的SVM学习心得，为了避免不小心弄丢了，就在这里重新记录一下吧，希望对初学机器学习理论并热爱公式推导的朋友有所帮助。SVM作为一种经典的机器学习算法，在处理“小样本”问题时效果非常显著。本文主要分成三大部分，第一部分介绍一些基本知识，这些知识在SVM的公式推导过程中会用到，所以最先介绍。第二部分针对数据集线性可分的情况，推导SVM的原问题和对偶问题表达式。第三部分针对数据集线性不可分的情况，推导SVM的原问题和对偶问题表达式。

基础知识

带约束优化问题的求解方法

带约束优化问题的一般式如下，

$$\begin{gathered} minf(w) \\ \text{subject to}{g}_i(w)\le 0,i=1,...,m \\ {h}_i(w)=0,i=1,...,n \end{gathered}$$

若约束条件比较复杂，则很难求解，因此我们希望把带约束的优化问题转化为无约束的优化问题。定义Lagrangian式如下，

$$L(w,\alpha ,\beta )=f(w)+\sum _{i=1}^m{\alpha }_i\times g_i(w)+\sum _{i=1}^n{\beta }_i\times h_i(w)$$

新的无约束表达式为${\theta }_p(w)={\max }_{\alpha ,\beta ,{\alpha }_i\ge 0}L(w,\alpha ,\beta )$，因为
　　$${\theta }_p(w)=\{\begin{array}{ll}f(w)& \text{ w subject to "primal constraint"}\\ +\propto & \text{otherwise}\end{array}$$

所以，对带约束原问题的求解等价于${\min }_w{\theta }_p(w)={\min }_w{\max }_{\alpha ,\beta ,{\alpha }_i\ge 0}L(w,\alpha ,\beta )$，实质上，此时的约束隐藏在了目标函数中。

对偶互补约束条件

“slate”条件：指严格满足不等式约束条件的点w，即$g_i(w)<0,(i=1,...,m)$，对于SVM问题，亦即要求“数据是可分的”，当数据不可分时，强对偶（strong duality）不成立。
　　“strong duality”:原问题是convex的，并且满足slater条件，此时$minmaxL\ge maxminL$的等号成立。这里需要注意一下，QP是凸优化问题的一种特殊情况。
　　当“strong duality”关系成立时，一定存在$w^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$，使得$w^{\ast }$是原问题的解，${\alpha }^{\ast },{\beta }^{\ast }$是对偶问题的解。记primal, dual分别为原问题和对偶问题，$prima{l}^{\ast },dua{l}^{\ast }$分别为原问题和对偶问题的最优解，那么有$prima{l}^{\ast }=dua{l}^{\ast }=L(w^{\ast },{\alpha }^{\ast },{\beta }^{\ast })$成立，并且$w^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$满足KKT条件，

{ α i ∗ ≥ 0 i = 1 , . . . , m g i ( w ∗ ) ≤ 0 i = 1 , . . . , m α i ∗ × g i ( w ∗ ) = 0 i = 1 , . . . , m    ( d u a l   c o m p l e m e n t a r y   c o n d i t i o n ) ∂ L ( w ∗ , α ∗ , β ∗ ) w i = 0 i = 1 , . . . , d ∂ L ( w ∗ , α ∗ , β ∗ ) β i = 0 i = 1 , . . . , n