何为对偶问题

何为对偶问题

在优化理论中，对偶问题是原始优化问题的另一种表述形式。对偶问题通过某种数学变换或转换关系，将原始问题重新表述为另一个问题，通常具有一些特定的性质或特征。

对偶问题的出现通常涉及拉格朗日对偶性或凸优化理论。原始问题可能是最小化或最大化一个函数，而对偶问题是通过构建一个与原问题相关的函数，寻找这个函数的最大值或最小值。

拉格朗日对偶性是一种常用的方法来构建对偶问题。通过构建拉格朗日函数，引入拉格朗日乘子（对应原问题的约束条件），并通过最大化或最小化拉格朗日函数来得到对偶问题。

一般情况下，原始问题是优化问题的主问题，而对偶问题是对原始问题的一种补充性描述。对偶问题可以提供关于原始问题的额外信息，比如最优值的下界或上界。

在某些情况下，原始问题和对偶问题之间存在关系，比如对偶问题的最优解可以提供原始问题最优解的一个界限，或者在一些特定条件下，原始问题和对偶问题的最优解是相等的。

总的来说，对偶问题是对原始优化问题的另一种描述或表述，通常用于帮助理解、解决或优化原始问题。

数学形式

对偶问题通常可以通过拉格朗日对偶性来表述，数学形式如下：

假设有一个原始优化问题，形式为：

最小化$f_0(x)$，满足$f_i(x)\le 0,i=1,2,...,m$，$h_j(x)=0,j=1,2,...,p$，其中 $x$ 是优化变量，$f_0(x)$ 是目标函数，$f_i(x)$ 是不等式约束，$h_j(x)$ 是等式约束。

根据拉格朗日对偶性，可以构建拉格朗日函数：

$L(x,\lambda ,\nu )=f_0(x)+{\sum }_{i=1}^m{\lambda }_i{f}_i(x)+{\sum }_{j=1}^p{\nu }_j{h}_j(x)$

其中，${\lambda }_i$ 和 ${\nu }_j$ 是拉格朗日乘子（也称为对偶变量），用于对应不等式约束和等式约束。这些乘子用于构建对偶问题。

对偶问题的表达式是原始问题的极小极化（或极大极化），其数学形式为：

最大化 $g(\lambda ,\nu )={\inf }_{x}L(x,\lambda ,\nu )$，其中 $\lambda \ge 0$。

这里的 $g(\lambda ,\nu )$ 是对偶函数，表示对拉格朗日函数$L(x,\lambda ,\nu )$在所有可能的 ( x ) 下的最小值。而对偶问题的目标是找到对偶函数的最大值，即找到对偶函数的上界。

对偶问题的目标是找到一组 $\lambda$ 和 $\nu$，使得对偶函数的最大值最大化，这个最大值对应于原始问题的最优值的下界。

这就是对偶问题的数学形式，它是原始问题的一种重新表述，用于寻找原始问题最优解的边界或提供一些关于最优解的信息。

举例说明

考虑一个简单的线性规划问题作为原始问题：

原始问题：
$\text{最小化}f(x)=3x_1+5x_2$
在满足以下约束条件下：
$$\begin{array}{rl}2x_1+x_2& \ge 10\\ x_1+3x_2& \ge 12\\ x_1,x_2& \ge 0\end{array}$$

这个原始问题是一个最小化问题，我们希望找到使得目标函数$f(x)$最小化的$x_1$ 和 $x_2$ 的值，同时满足给定的约束条件。

现在，我们可以构建这个原始问题的对偶问题。首先，我们构建拉格朗日函数：

$L(x,\lambda )=f(x)+{\lambda }_1(g_1(x))+{\lambda }_2(g_2(x))$
其中，$g_1(x)=2x_1+x_2-10$ 和 $g_2(x)=x_1+3x_2-12$ 是约束条件，${\lambda }_1$和 ${\lambda }_2$ 是对应的拉格朗日乘子。

接着，我们可以定义对偶函数 $g(\lambda )$。这个对偶函数的目标是在给定的约束下，找到拉格朗日函数$L(x,\lambda )$ 的最小值。即：

$g(\lambda )={\inf }_{x}L(x,\lambda )$
其中 $\lambda$ 是拉格朗日乘子的向量。

这个符号${\inf }_{x}L(x,\lambda )$表示对函数 $L(x,\lambda )$ 在所有$x$的取值中，取得的最小值。也就是说，对于给定的拉格朗日乘子$\lambda$，函数$L(x,\lambda )$针对所有可能的$x$取值，得到的最小的结果。
在拉格朗日对偶问题中，我们试图最大化对偶函数$g(\lambda )$，而对偶函数是基于拉格朗日函数$L(x,\lambda )$ 的。而对偶函数的定义是：
$g(\lambda )={\inf }_{x}L(x,\lambda )$
这意味着我们尝试找到一组乘子$\lambda$，使得函数$L(x,\lambda )$针对所有可能的$x$取值，得到的最小值尽可能大。对偶函数的最优值提供了原始问题最优值的一个界限。如果对偶问题的最优值与原始问题的最优值相等，则我们称这个对偶问题是强对偶的。

这个对偶问题的目标是最大化 $g(\lambda )$。解决对偶问题可以提供原始问题最优值的一个下界。然后，我们可以尝试找到一组最优的 $\lambda$ 值，使得对偶问题的最优值最大化。这个最大化的值对应的就是原始问题的最优值的一个界限。

好的讲解资源

可以看看这个视频，推荐，拉格朗日松弛（乘子法）及对偶问题