拉格朗日函数、对偶上升法、对偶分解法

最新推荐文章于 2021-10-28 10:23:42 发布

chenhch8

最新推荐文章于 2021-10-28 10:23:42 发布

阅读量1.5w

点赞数 21

分类专栏：数学文章标签：数学

本文链接：https://blog.csdn.net/deepinC/article/details/79341632

版权

本文详细介绍了拉格朗日函数在解决约束优化问题中的应用，包括拉格朗日乘子法和KKT条件。此外，还讨论了对偶上升法和对偶分解法，阐述了如何通过求解对偶问题来找到原问题的最优解，并通过迭代更新逐步优化解的过程。

摘要由CSDN通过智能技术生成

拉格朗日函数

用于解决满足约束条件的最值问题
注意，该方法均只能保证求得的结果是必要条件。只有当原函数是凸函数时，才能保证求得的结果是充要条件

拉格朗日乘子法

适用于具有等式约束的最大值/最小值问题

min f (x) s.t. or max f (x) φ i (x) = 0, i = 1, 2, \dots, n} \Rightarrow {L (x, λ) = f (x) + \sum n i = 1 λ i φ i (x) \nabla L (x, λ) = 0 (1)

$\left.\begin{array}{l} \min{f(x)} & \text{or} \quad \max{f(x)} \\ \mbox{s.t.} & \varphi_i(x)=0, i=1,2,\dots,n \end{array}\right\} \Rightarrow \left\{\begin{array}{l} L(x,\lambda)=f(x)+ \sum_{i=1}^n\lambda_i \varphi_i(x)\\ \nabla L(x,\lambda)=0 \end{array}\right. \tag{1}$
其中

L(x,λ) L ( x , λ ) $L(x,\lambda)$ 被称为拉格朗日函数，系数

λ λ $\lambda$ 被称为拉格朗日乘子或者对偶变量。通过

∇ ∇ $\nabla$ 计算后，可得到候选集，然后从候选集中验算选择满足条件的结果即可。（

∇ ∇ $\nabla$ ：依次对函数所有自变量求偏导）

KKT条件

适用于同时具有等式约束和不等式约束的最小值问题

min s.t. f (x) φ i (x) = 0, i = 1, 2, \dots, n h j (x) \leq 0, j = 1, 2, \dots, m ⎫ ⎭ ⎬ ⎪ ⎪ \Rightarrow L (x, λ, ι) = f (x) + \sum i = 1 n λ i φ i (x) + \sum j = 1 m ι j h j (x) (2)

$\left.\begin{array}{l} \text{min} & f(x) \\ \text{s.t.} & \varphi_i(x)=0, i=1,2,\dots,n \\ & h_j(x) \leq 0, j=1,2,\dots,m \end{array}\right\} \Rightarrow L(x,\lambda,\iota)=f(x)+\sum_{i=1}^n \lambda_i \varphi_i(x)+\sum_{j=1}^m \iota_j h_j(x) \tag{2}$
上述式子成立的 必要前提是KKT条件：

KKT s.t. L (x, λ, ι) 对 x 求 偏 导 存 在 λ i (x) = 0, i = 1, 2, \dots, n ι j h j (x) = 0, ι j \geq 0, j = 1, 2, \dots, m (3)

$\begin{array}{ll} \text{KKT s.t.} & L(x,\lambda,\iota) 对 x 求偏导存在 \\ & \lambda_i(x)=0, i=1,2,\dots,n \\ & \iota_j h_j(x)=0, \iota_j \geq 0, j=1,2,\dots,m \end{array} \tag{3}$
其中

λ,ι λ , ι $\lambda,\iota$ 被称为拉格朗日乘子或者对偶变量

下面直观地说下为什么会有第三个条件要成立
由于 $\iota_j \geq 0, h_j(x) \leq 0$ ，所以 $\iota_j h_j(x) \leq 0$ ；又因为 $\lambda_i(x)=0$ ，所以 $L(x,\lambda,\iota)$ 仅有在 $\iota_j h_j(x)=0$ 下才能取得最大值，故这是KKT第三个条件必须要成立的原因——即第三个条件满足时，它意味着有 $\max{L(x,\lambda,\iota)}=f(x)$ ，接下来就是求解 $\min{f(x)}$ ，所以该过程又可记为： minf(x)=minxmaxλ,