【支持向量机 / SVM】原始SVM优化问题中原问题和对偶问题的理解

原始SVM优化问题中原问题和对偶问题的理解

这个问题已经烂大街了，也不介意我掺一脚，算是个人小总结，目的是优雅的追求，Elegant！

SVM的原问题

原始问题的形式如下：
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2 \\ s.t.1-y_i(w^T{x}_i+b)\le 0 \end{gathered}$$

原问题的推理过程：
对于所有样本$x_i$，我们需要找到一个超平面$w^{T}x+b=0$将空间划分，那么对于任何样本$(x_i,y_i)$，y是标签x是特征，要求满足$y_i(w^T{x}_i+b)>0$。
此外SVM要求间隔最大，间隔可以描述为在所有样本中距离超平面距离最小的那个点与超平面的距离。我们需要这样的一个最小的距离最大：
最小间隔为 ${\min }_{x_i}\frac{|w^T{x}_i+b|}{\Vert w\Vert }$（注意这里是$\Vert w\Vert$而不是$\Vert w{\Vert }^2$）
再让间隔最大，优化问题写作：
$$\begin{gathered} \underset{w,b}{\max }\underset{x_i}{\min }\frac{|w^T{x}_i+b|}{\Vert w\Vert } \\ s.t.y_i(w^T{x}_i+b)\ge 0 \end{gathered}$$
很明显这个优化问题是多解的，如果$(w^{\ast },b^{\ast })$是一个最优解，那么$(2w^{\ast },2b^{\ast })$也必须是一个最优解，因此我们总可以调整$(w^{\ast },b^{\ast })$的放缩系数得到一个最优解使得最小间隔 ${\min }_{x_i}\frac{|(w^{\ast }{)}^T{x}_i+b^{\ast }|}{\Vert w^{\ast }\Vert }=\frac{1}{\Vert w^{\ast }\Vert }$
我们让过程再优雅一点，Elegant一点！
我们可以通过添加限制条件排除多解的问题
$$\begin{gathered} \underset{w,b}{\max }\underset{x_i}{\min }\frac{|w^T{x}_i+b|}{\Vert w\Vert } \\ s.t.y_i(w^T{x}_i+b)\ge 0 \\ s.t.\underset{x_i}{\min }|w^T{x}_i+b|=1 \end{gathered}$$
把添加的约束代入到目标函数中，同时合并两个约束：
$$\begin{gathered} \underset{w,b}{\max }\frac{1}{\Vert w\Vert } \\ s.t.y_i(w^T{x}_i+b)\ge 1 \end{gathered}$$
这样和最上面的式子只有一步之遥了～

SVM的对偶问题

我们想要优化这个式子：
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2 \\ s.t.1-y_i(w^T{x}_i+b)\le 0 \end{gathered}$$

• 令$L={\min }_{w,b}\frac{1}{2}\Vert w{\Vert }^{2}s.t.1-y_i(w^T{x}_i+b)\le 0$
  即$L$为$w,b$取可行解时$\frac{1}{2}\Vert w{\Vert }^2$的最小值
• 又令 $J(\alpha )={\min }_{w,b}\frac{1}{2}\Vert w{\Vert }^2+{\sum }_i{\alpha }_i(1-y_i(w^T{x}_i+b))$，定义域为${\alpha }_i\ge 0$
  即$J(\alpha )$为${\alpha }_i\ge 0$时，且对$(w,b)$不加限制的条件下，$\frac{1}{2}\Vert w{\Vert }^2+{\sum }_i{\alpha }_i(1-y_i(w^T{x}_i+b))$的最小值

显然$J(\alpha )\le L$

推理过程:
设计算$L={\min }_{w,b}\frac{1}{2}\Vert w{\Vert }^{2}s.t.1-y_i(w^T{x}_i+b)\le 0$时，最小值对应的$w,b$取值为$w^{\ast },b^{\ast }$（原问题的最优解）
$w^{\ast },b^{\ast }$必须满足$1-y_i((w^{\ast }{)}^T{x}_i+b^{\ast })\le 0$，又有${\alpha }_i\ge 0$，因此
$\frac{1}{2}\Vert w^{\ast }{\Vert }^2+{\sum }_i{\alpha }_i(1-y_i((w^{\ast }{)}^T{x}_i+b^{\ast }))\le \frac{1}{2}\Vert w^{\ast }{\Vert }^2=L$
依据上面$J(\alpha )$的定义有：
$J(\alpha )\le \frac{1}{2}\Vert w^{\ast }{\Vert }^2+{\sum }_i{\alpha }_i(1-y_i((w^{\ast }{)}^T{x}_i+b^{\ast }))$
因此$J(\alpha )\le L$

接上文，$J(\alpha )\le L\Rightarrow {\max }_{\alpha }J(\alpha )\le L$
对偶问题求解的就是${\max }_{\alpha }J(\alpha )$，也就是原始最优问题的一个下界，而事实上$$\underset{\alpha }{\max }J(\alpha )=L$$

说明：
取等号的性质，由凸优化问题的强对偶性决定
取等号的$\alpha$满足如果$1-y_i((w^{\ast }{)}^T{x}_i+b^{\ast })<0$，那么${\alpha }_i=0$（互补松弛性）
（btw，上面所有内容中涉及了对偶优化中的 弱对偶性/强对偶性/互补松弛性）

因此，对偶问题本质上就是优化求解：
$$\underset{\alpha }{\max }J(\alpha )$$

对偶问题的化简

为了在$J(\alpha )$的表达式中消去$w,b$，令$J(\alpha )={\min }_{w,b}L(w,b,\alpha )$
其中$L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2+{\sum }_i{\alpha }_i(1-y_i(w^T{x}_i+b))$
可以求得
$$\begin{gathered} \partial L(w,b,\alpha )/\partial w=w-\sum _i{\alpha }_i{y}_i{x}_i \\ \partial L(w,b,\alpha )/\partial b=\sum _i{\alpha }_i{y}_i \end{gathered}$$
令$\partial L(w,b,\alpha )/\partial w=0$且$\partial L(w,b,\alpha )/\partial b=0$得到$w={\sum }_i{\alpha }_i{y}_i{x}_i,\sum {\alpha }_i{y}_i=0$
故而
$$\begin{array}{rl}J(\alpha )& =\frac{1}{2}\left(\sum _i{\alpha }_i{y}_i{x}_i^T\right)\left(\sum _j{\alpha }_j{y}_j{x}_j\right)+\sum _i{\alpha }_i\\ & -\sum _i\left({\alpha }_i{y}_i\sum _k{\alpha }_k{y}_k{x}_k^T{x}_i\right)-\sum _i{\alpha }_i{y}_{i}b\\ & =-\frac{1}{2}\sum _i\sum _j{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _i{\alpha }_i\end{array}$$
因此最后的对偶问题为:
$$\begin{gathered} \underset{\alpha }{\max }-\frac{1}{2}\sum _i\sum _j{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _i{\alpha }_i \\ s.t.\sum _i{\alpha }_i{y}_i=0 \\ (s.t.{\alpha }_i\ge 0) \end{gathered}$$

补充性质

最后求解的结果满足${\alpha }_i=0$对应的样本为非支持向量，${\alpha }_i>0$对应的是支持向量。

因为${\max }_{\alpha }J(\alpha )=L=\frac{1}{2}\Vert w^{\ast }{\Vert }^2$，因此${\alpha }_i^{\ast }(1-y_i((w^{\ast }{)}^T{x}_i+b^{\ast }))=0$

为什么需要求解对偶问题不求解原始问题？
A: 对偶问题只有一个约束，而原问题有n个约束，一个约束更方便使用SMO算法优化； 对偶问题更容易引入Kernel Method