约束优化方法之拉格朗日乘子法与KKT条件

最新推荐文章于 2023-05-21 22:24:22 发布

MissAcappella

最新推荐文章于 2023-05-21 22:24:22 发布

阅读量746

点赞数

本文链接：https://blog.csdn.net/MissAcappella/article/details/88894771

版权

本文详细介绍了约束优化问题，包括等式约束和不等式约束的处理方法。针对等式约束，通过拉格朗日乘子法寻找可行解，而面对不等式约束，则引入KKT条件，解释了拉格朗日乘子法在不等式约束下如何找到局部极小值。内容涵盖了无约束优化、等式约束优化和不等式约束优化的理论与几何直观解释。

摘要由CSDN通过智能技术生成

引言
本篇文章将详解带有约束条件的最优化问题，约束条件分为等式约束与不等式约束，对于等式约束的优化问题，可以直接应用拉格朗日乘子法去求取最优值；对于含有不等式约束的优化问题，可以转化为在满足 KKT 约束条件下应用拉格朗日乘子法求解。拉格朗日求得的并不一定是最优解，只有在凸优化的情况下，才能保证得到的是最优解，所以本文称拉格朗日乘子法得到的为可行解，其实就是局部极小值，接下来从无约束优化开始一一讲解。
无约束优化
首先考虑一个不带任何约束的优化问题，对于变量 x∈RNx∈RN 的函数 f(x)f(x) ,无约束优化问题如下:
minxf(x)
该问题很好解，根据 Fermat 定理，直接找到使目标函数得 0 的点即可即： ∇xf(x)=0∇xf(x)=0 ，
如果没有解析解的话，可以使用梯度下降或牛顿方法等迭代的手段来使 xx 沿负梯度方向逐步逼近极小值点。
等式约束优化
当目标函数加上约束条件之后，问题就变成如下形式：
minx f(x)
s.t. hi(x)=0,i=1,2,…,m
约束条件会将解的范围限定在一个可行域，此时不一定能找到使得 ∇xf(x)∇xf(x) 为 0 的点，只需找到在可行域内使得 f(x)f(x) 最小的值即可，常用的方法即为拉格朗日乘子法，该方法首先引入 Lagrange Multiplier α∈Rmα∈Rm ，构建 Lagrangian 如下&#x