[支持向量机SVM] 西瓜书+个人理解【4.对偶问题】

最新推荐文章于 2023-12-07 19:47:28 发布

lcdxshengpeng

最新推荐文章于 2023-12-07 19:47:28 发布

阅读量1.6k

点赞数 2

分类专栏：机器学习文章标签：对偶问题 SVM 有约束优化机器学习

本文链接：https://blog.csdn.net/lcdxshengpeng/article/details/88585620

版权

机器学习专栏收录该内容

6 篇文章 0 订阅

订阅专栏

上一节我们得到，对于一般性的优化问题：

我们可以转化为无约束的优化问题 $min_{x}[\theta_{p}] = min_{x}[max_{\alpha;}_{\beta,\beta\geq 0}L(x,\alpha,\beta)]$ ①

另外，我们令 $\theta_{D} = min_{x}[L(x,\alpha,\beta)]$ , 则 $max_{\alpha;\beta,\beta \geq0}[\theta_{D}] = max_{\alpha;\beta,\beta \geq0}[min_{x}L(x,\alpha,\beta)]$ ②

我们观察①②两个式子，可以发现两个式子只是min和max的顺序做了交换，它们是对称的。

并且有结论，①②有相同的解 $x^{*},\alpha^{*},\beta^{*}$ ,这样我们就可以选择一个简单的来求解。

下面我们结合SVM,来看在SVM中怎样找到其对偶问题：

我们先看一下第一节中SVM的基本型： $min_{\omega ,b} \frac{1}{2}\left \| \omega \right \|^{2} s.t. y_{i}(\omega ^{T}x_{i}+b)\geq 1,i=1,2...m.$

这里面m为样本点个数，同时也是约束条件的个数。

所以 $\theta_{p} = \frac{1}{2}\left \| \omega \right \|^{2}+max_{\beta,\beta \geq0}\sum _{j=1}^{m}\beta_{j}(1- y_{j}(\omega^{T} x_{j}+b))$ , $\theta_{p}$ 与 $\frac{1}{2}\left \| \omega \right \|^{2}$ ，在约束范围内是相等的，在约束范围外 $\theta_{p}$ 为正无穷，因此我们可以用 $\theta_{p}$ l来代替原始目标函数 $\frac{1}{2}\left \| \omega \right \|$ 来进行最小化，这样问题就变为：

$min_{\omega ,b}[\theta_{p}] = min_{\omega,b}[max_{\beta,\beta\geq0}L[\omega,b,\beta] ]$ , 其中 $L[\omega,b,\beta] = \frac{1}{2}\left \| \omega \right \|^{2}+\sum _{j=1}^{m}\beta_{j}(1- y_{j}(\omega^{T} x_{j}+b))$

这样直接求是很困难的，我们来看看它的对偶问题：

$max_{\beta,\beta \geq0}[\theta_{D}] = max_{\beta,\beta \geq0}[min_{\omega,b}L(\beta,\omega,b)]$ ,而其中的 $\bg_white \fn_cm min_{\omega,b}L(\beta,\omega,b)$ 不就是没有约束的最小化问题吗。

我们分别对 $\omega$ 和b求偏导，并令其等于零即：

$\frac{\partial L}{\partial \omega} = \omega- \sum _{j=1}^{m}\beta_{j}y_{j}x_{j} = 0$ ①

$\frac{\partial L}{\partial b} = -\sum _{j=1}^{m}\beta_{j}y_{j}=0$ ②

把①②两式代入 $L(\beta,\omega,b)= \frac{1}{2}\left \| \omega \right \|^{2}+\sum _{j=1}^{m}\beta_{j}(1- y_{j}(\omega^{T} x_{j}+b))$ 就可以得到：

$\bg_white \fn_cm min_{\omega,b}L(\beta,\omega,b)=-\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\beta_{i}\beta_{j}y_{i}y_{j}x_{i}^Tx_{j}+\sum_{j=1}^{m}\beta_{j}$

$s.t. \sum _{j=1}^{m}\beta_{j}y_{j}=0,\beta_{j}\geq0$

那么整个SVM优化问题最终就变成了：

$max_{\beta}-\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\beta_{i}\beta_{j}y_{i}y_{j}x_{i}^Tx_{j}+\sum_{j=1}^{m}\beta_{j}$ ，s.t. $\sum _{j=1}^{m}\beta_{j}y_{j}=0,\beta_{j}\geq0$

这样我们就可以求出 $\beta$ ,进一步求出 $\omega$ 和b,最终我们就可以得到模型：

$f(x) = \omega^{T} x+b$

lcdxshengpeng

关注

2
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
[支持向量机SVM] 西瓜书+个人理解【4.对偶问题】

上一节我们得到，对于一般性的优化问题：我们可以转化为无约束的优化问题 ①另外，我们令, 则 ②我们观察①②两个式子，可以发现两个式子只是min和max的顺序做了交换，它们是对称的。并且有结论，①②有相同的解,这样我们就可以选择一个简单的来求解。下面我们结合SVM,来看在SVM中怎样找到其对偶问题：我们先看一下第一节中SVM的基本型：...
复制链接

扫一扫