拉格朗日乘子法

最新推荐文章于 2022-03-13 19:14:40 发布

huangfliang

最新推荐文章于 2022-03-13 19:14:40 发布

阅读量1.4k

点赞数

本文链接：https://blog.csdn.net/huangfliang/article/details/102745940

版权

对此博客https://www.cnblogs.com/xingshansi/p/6628785.html的理解

结论：带约束的最小化问题可等价表示为无约束的最小化问题

证明：

KKT条件：1）原始不等式约束；2）原始等式约束；3）拉格朗日乘子非负性；4）互补松弛性；5）平稳点存在性

1） $f_i(x)\leqslant 0$ ; 2) h_i(x)=0 3) $\alpha_i\geqslant 0$ ； 4） $\alpha _i^*{f_i}(x^*) = 0, (i = 1,...,m)$ ; 5) $\nabla {f_0}({x^*}) + \sum\limits_{i = 1}^m {\alpha _i^*\nabla {f_i}({x^*})} + \sum\limits_{i = 1}^n {\beta _i^*\nabla {h_i}({x^*})} = 0$

基本思路：1）将给定问题形式为带约束条件的最小化问题；2）将带约束条件的最小化问题等价地表示为minmax形式的无约束条件优化问题; 3）检测KKT条件是否满足，若满足，则应用拉格朗日对偶法将minmax形式的无约束条件优化问题转化为maxmin形式的对偶问题; 4) 若转化后的对偶问题是凸优化问题，则此对偶问题的最优解就是原始问题的最优解；若转化后的对偶问题为一般优化问题（不等式函数约束是凸的, 等式约束是仿射的，而目标函数为一般函数），则对偶问题最优解值d*是最接近原始问题最优解值p*的，在一般情况下，二者之间存在着对偶间隙p*-d*, 并且p*-d*>0, 由于minmax(胖子里的瘦子)肯定大于maxmin(瘦子里的胖子)。

什么情况下才会有p*=d*? 答案是：原始优化问题是凸优化的（目标函数必须是凸的；不等式函数约束必须是凸的；等式约束必须是仿射的）且 Slater条件成立（ f_i(x)>0(i=1,...,m), h_i(x)=0(i=1,2,...,n) ）