支持向量机(SVM)——原问题与对偶问题的转化

最新推荐文章于 2022-07-05 15:31:03 发布

aianswer3

最新推荐文章于 2022-07-05 15:31:03 发布

阅读量4k

点赞数 1

分类专栏： SVM 文章标签：机器学习人工智能支持向量机

本文链接：https://blog.csdn.net/aianswer3/article/details/108807450

版权

SVM 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

在上一节，我们完成了SVM从处理线性可分到线性不可分的转变，为更好解决非线性可分问题，提出了一个观点。这一节，我们将首先学习优化理论中的原问题与对偶问题和如何在两者的转化过程中使用核函数解决 $\varphi (x)$ 无限维的问题。

补充优化理论知识：

原问题：

最小化： $f(\omega )$

限制条件： $g_{i}(w)\leqslant 0$ ， (i=1~k)； $h_{i}(x)= 0$ ， (i=1~m)

对偶问题：

定义： $L(w,\alpha ,\beta )=f(x)+\sum _{i=1}^{K}\alpha _{i}g_{i}(w)+\sum _{i=1}^{M}\beta _{i}h_{i}w)=f(x)+\alpha ^{T}g(w)+\beta ^{T}h(w)$

对偶问题定义：

最大化： $\theta (\alpha ,\beta )=inf_{\omega } {L(\omega ,\alpha ,\beta )}$

限制条件： $\alpha _{i}\geq 0 (i=1\sim k)$

解释一下这里的优化理论：

这里的原问题是一个普适的定义，可以和上一节中提出的SVM优化问题对应，具体将在下一节详细解释。

对偶问题首先定义了一个与原问题对应的函数形式。最大化中的inf()函数是用来求 $\omega$ 。

这个函数会对每一个 $\alpha$ 和 $\beta$ ，求出一个 $\omega$ ，最终得到一个确定的最小的 $\omega$ 。所以等式的左边只有 $\alpha$ 和 $\beta$ 两个变量，右边却有 $\alpha$ ， $\beta$ 和 $\omega$ 三个变量。

在进行解释原问题与对偶问题转化过程前，需要给出如下定理：

如果 $\omega ^{*}$ 是原问题的解，，而 $\alpha ^{*}$ 和 $\beta ^{*}$ 是对偶问题的解，则有 $f(\omega ^{*})\geq \theta (\alpha ^{*},\beta ^{*})$

证明：

$\theta (\alpha ,\beta )=inf_{\omega } {L(\omega ,\alpha ,\beta )}\leq L(\omega^{*} ,\alpha^{*} ,\beta^{*} )=f(\omega^{*})+\sum _{i=1}^{K}\alpha _{i}^{*}g_{i}(\omega^{*})+\sum _{i=1}^{M}\beta _{i}^{*}h_{i}(\omega^{*})\leq f(\omega^{*})$ 公式1

第一个不等号的左侧函数中的 $\omega$ 是最小值，右侧函数中的 $\omega$ 是某个解，所以第一个不等号取小于等于。

因为在原问题和对偶问题中有， $g_{i}(w)\leqslant 0$ ， (i=1~k)； $h_{i}(x)= 0$ ， (i=1~m)， $\alpha _{i}\geq 0 (i=1\sim k)$

所以第二个不等号左侧是 $f(\omega ^{*})$ +负项，所以第二个不等号取小于等于。

定义G= $f(\omega ^{*})- \theta (\alpha ^{*},\beta ^{*})\geq 0$ ， G叫做原问题与随偶问题的间距。

对于某些特定的优化问题，可以证明G=0。

强对偶问题：若 $f(\omega )$ 为凸函数，且 $g(\omega )=A\omega +b$ , $h(\omega )=C\omega +d$ ,则此优化问题的G=0。

很明显，SVM优化问题符合上述定义。所以G=0。即， ${\color{Red} f(\omega ^{*})= \theta (\alpha ^{*},\beta ^{*})}$

因为 $f(\omega ^{*})= \theta (\alpha ^{*},\beta ^{*})$ ，则公式1中的所有不等号都将变为等号。

从而使 $\omega ^{*}$ 取得最小值，同时 $\sum _{i=1}^{K}\alpha _{i}^{*}g_{i}(\omega^{*})+\sum _{i=1}^{M}\beta _{i}^{*}h_{i}(\omega^{*})$ 这两项应为零。

在原问题和对偶问题中有， $g_{i}(w)\leqslant 0$ ， (i=1~k)； $h_{i}(x)= 0$ ， (i=1~m)， $\alpha _{i}\geq 0 (i=1\sim k)$

我们可以得到这样一个结论：

对于 ${\color{Red}\forall i=1\sim K}$ ，或者 ${\color{Red}\alpha _{i}^{*}=0 }$ ,或者 ${\color{Red}g_{i}^{*}(\omega ^{*})=0 }$ ，这就是KKT条件。

本小节，我们学习了原问题与对偶问题，并且了解了当前要解决的优化问题可以和对偶问题相转化。大家可以猜到，下一小节，我们将用核函数求解对偶问题，从而解决优化问题，求出 $\omega$ 和b。

aianswer3

关注

1
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录