SVM优化对偶问题

最新推荐文章于 2024-07-02 15:30:22 发布

Datawhale

最新推荐文章于 2024-07-02 15:30:22 发布

阅读量1.7k

点赞数 3

分类专栏：李宏毅机器学习

本文链接：https://blog.csdn.net/Datawhale/article/details/95933303

版权

本文介绍了优化问题的解决方法，重点讲解了等式优化问题的拉格朗日乘子法，包括几何解释、拉格朗日乘子的引入、构造函数以及等式优化条件。接着探讨了不等式优化问题的KKT条件，并解释了拉格朗日乘子法在处理不等式约束时的应用。文章还概述了对偶问题的特性，特别是在SVM中的角色，强调了弱对偶和强对偶定理，以及Slater条件和KKT条件的重要性。

摘要由CSDN通过智能技术生成

Author: 修远;
说明：本文为Datawhale下开源项目《李宏毅机器学习》Support vector的补充内容。作者水平有限，还望学习者批评指正。
Datawhale

学习目标

优化实例
优化问题求解方式
等式优化问题—拉格朗日乘子法
不等式优化问题—KKT条件
对偶问题

1 优化实例

设平面上有两个线段 $u_1,u_2$ 和 $v_1,v_2$ ，试求这两个线段是哪个相距最近的两个点 $u^*,v^*$ 。

那么线段 $u_1,u_2$ 和 $v_1,v_2$ 上的点可分别表示为
$u=\alpha u_1+(1-\alpha)u_2， 0\leqslant \alpha\leqslant 1$

$v=\beta v_1+(1-\beta)v_2, 0\leqslant \beta\leqslant 1$

点u和v的距离为变量 $\alpha$ 和 $\beta$ 的函数

$f(\alpha, \beta)=||u-v||^2$

上述问题可表示为下述形式：
$f(\alpha, \beta)=||u-v||^2$
$\leqslant \alpha \leqslant 1$
$\leqslant \beta \leqslant 1$

"min"表示“最小化”(minimize)，而s.t.表示受限于(subject to)

这样就得到了一般形式的数学优化问题或者说优化问题，可以写成如下形式：
$minimize, f_0(x)$
$g_i(x) \leqslant b_i,i=1..m$
$h_i(x)=0,i=1...p$

向量 $x=(x_1,x_2,...x_n)$ 称为问题的优化变量，称问题中的 $f_0(x)$ 为目标函数。称函数 $g_i(x)\leqslant b_i,i=1..m$ 和 $h_i(x)=0,i=1...p$ 为约束条件，并分别称他们为不等式约束条件和等式约束条件，常数 $b_1,...b_m$ 称为约束边界。

2 优化问题求解方式

无约束问题:
一般求解方式梯度下降法、牛顿法、坐标轴下降法
等式约束条件:
拉格朗日乘子法进行求解
不等式约束条件:
KKT条件进行求解

3 等式优化问题——拉格朗日乘子法

3.1几何解释

如下图，，f(x,y)为我们的目标函数，x,y为向量.f(x)可以取到不同的值，相当于可以投影在x构成的平面(曲面)上，成为等高线(等高线为虚线)。而约束条件h(x,y)(绿线标出的是约束条件的轨迹)，在x,y构成的平面或者曲面上是一条曲线。
在这里插入图片描述
假设f(x,y)的曲线与h(x,y)等高线相交，交点就是同时满足等式约束条件和目标函数的可行域的值，但肯定不是最优值。因为相交意味着肯定还存在其他的等高线在该条等高的内部或者外部，使得等高线与限制条件的交点的值更多或者更小。只有当f(x,y)与h(x,y)相切时，才会出现极值