本文介绍了约束优化问题的分类，包括无约束、等式约束和不等式约束优化，并详细讲解了拉格朗日乘数法在解决这些问题中的应用，特别是拉格朗日对偶问题的概念、求解方法以及强弱对偶性的理解。
优化问题分类
根据约束条件分类
约束问题分为无约束优化问题、等式约束优化问题、不等式约束优化问题三类。
根据优化函数和约束条件分类
线性规划问题：优化函数线性，约束函数线性；
二次规划问题：优化函数二次，约束函数线性；
非线性规划问题：优化函数非线性，约束函数非线性。
无约束优化
例如求 min f ( x , y ) \min f(x,y) minf(x,y)，没有其它的等式或者不等式约束，充其量有定义域的限制。
求解方法
根据Fermat定理，求导，若无解析解，可借助梯度下降法、牛顿法等。
等式约束优化
在无约束优化问题的基础上，加了一些等式约束条件。举例：
min f ( x , y ) s . t . ( s u b j e c t t o ) h i ( x , y ) = 0 , i = 1 , 2 … \begin{aligned} & \min f(x,y)\\ & s.t. (subject~to)~~~~~~~h_{i}(x,y)=0, i=1,2 \dots \end{aligned} minf(x,y)s.t.(subject to) hi(x,y)=0,i=1,2…
除了最基本的目标函数外，还有若干等式约束条件。
求解方法
利用拉格朗日乘数法，构造拉格朗日函数。
L ( x , y , α ) = f ( x , y ) + ∑ α i h i ( x , y ) L(x,y,\alpha)=f(x,y)+\sum \alpha_{i}h_{i}(x,y) L(x,y,α)=f(x,y)+∑αihi(x,y)
对自变量x,y和拉格朗日乘子 α \alpha α求偏导，结果等于0，构造i+2个方程
{ ▽ x , y L = 0 ▽ α L = 0 \left\{ \begin{aligned} \bigtriangledown _{x,y} L & = 0 \\ \bigtriangledown _{\alpha } L & = 0 \end{aligned} \right. {
▽x,yL▽αL=0=0
解得 x , y , α x,y,\alpha x
最低0.47元/天 解锁文章
扫一扫
2098
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
