拉格朗日对偶性（Lagrangian Duality）详解

1. 引言

拉格朗日对偶性是最优化理论中的重要概念，广泛应用于数学优化、运筹学、经济学和机器学习等领域。通过引入拉格朗日函数，我们可以将原始约束优化问题转换为对偶问题，从而获得优化问题的额外信息，有时还能简化求解过程。

本文将详细介绍拉格朗日对偶性的基本概念、数学推导、弱对偶性与强对偶性的判别条件，以及其在实际问题中的应用。

---

2. 拉格朗日对偶性的基本概念

考虑一个标准的约束优化问题：
${\min }_{x}f(x)$
$\text{s.t. }{g}_i(x)\le 0,i=1,2,\dots ,m$
$h_j(x)=0,j=1,2,\dots ,p$
其中，$f(x)$ 是目标函数，$g_i(x)$ 代表不等式约束，$h_j(x)$ 代表等式约束。

2.1 拉格朗日函数

为将约束合并到目标函数中，我们引入拉格朗日乘子 ${\lambda }_i\ge 0$（对应不等式约束）和 ${\nu }_j$（对应等式约束），定义拉格朗日函数：
L ( x , λ , ν ) = f ( x ) + ∑ i = 1 m λ i g i ( x ) + ∑ j = 1 p ν j h j ( x ) L(x, \lambda, \nu) = f(x) + \sum_{i=1}^{m} \lambda_i g_i(x) + \sum_{j=1}^{p} \nu_j h_j(x) L(x,λ,ν)=f(x)+∑i=1m​λ