约束优化&拉格朗日乘子法&拉格朗日对偶解法的关系

12 篇文章 0 订阅
3 篇文章 0 订阅

本文梳理一些约束优化里问题常见的一些拉格朗日乘子法与拉格朗日对偶的关系。经常看到一些错误说法:就是拉格朗日对偶解法就是针对不等式约束优化问题的拉格朗日乘子法,实际上并不是。

1、约束优化问题

约束优化问题,分为等式约束优化问题和不等式约束优化问题。经常利用拉格朗日乘子法求解。

2、等式约束优化问题

等式约束优化问题相对简单,高等数学中一般都有拉格朗日乘子法求极值的介绍,这里不做过多介绍。
f ( x ) , g i ( x ) f(x),g_i(x) f(x),gi(x)连续可微。
min ⁡ x f ( x ) \min\limits_{x} f(x) xminf(x)
s . t .     g i ( x ) = 0 ,   i = 1 , . . . , n . s.t.~~~ g_i(x) = 0,~i=1,...,n. s.t.   gi(x)=0, i=1,...,n.

3、不等式约束优化问题

f ( x ) , g i ( x ) , h j ( x ) f(x),g_i(x),h_j(x) f(x),gi(x),hj(x)连续可微。
min ⁡ x f ( x ) \min\limits_{x} f(x) xminf(x)
s . t .     g i ( x ) ≤ 0 ,   i = 1 , . . . , k . s.t.~~~ g_i(x) \leq 0,~i=1,...,k. s.t.   gi(x)0, i=1,...,k.
         h j ( x ) = 0 ,   j = 1 , . . . , l . ~~~~~~~~ h_j(x) = 0,~j=1,...,l.         hj(x)=0, j=1,...,l.
该不等约束优化问题可以用拉格朗日乘子法求解。

引入拉格朗日乘子后,
方法(1)可以利用KKT条件直接求解原问题。需要注意:最优解一定满足KKT条件,满足KKT条件的不一定是最优解。
方法(2)如果该不等式约束优化问题进一步满足强对偶关系(Slater条件,针对一般的优化问题,强对偶关系通常不成立),可以将其转化为对偶问题求解(特殊解法)。

Slater条件定理:

f ( x ) f(x) f(x) g i ( x ) g_i(x) gi(x)为凸函数, h j ( x ) h_j(x) hj(x)为仿射函数,且可行域内存在一点使得不等式约束严格成立,则强对偶性成立,也就是可以通过求解对偶问题的解来求解原问题的解。

比如SVM,最大熵等模型满足Slater条件,因此可以转化为对偶问题求解。

[1]https://www.jiqizhixin.com/articles/2019-02-12-10
[2]https://zhuanlan.zhihu.com/p/114574438
[3]https://zhuanlan.zhihu.com/p/46944722
[4]https://zhuanlan.zhihu.com/p/55532322

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值