对偶问题是原始优化问题的另一种表述方式。在对偶问题中,优化的目标函数和约束条件都与原始问题不同,但两个问题具有等价的最优解。通过解决对偶问题,可以间接地得到原始问题的最优解,这种方法称为对偶法。
对于一个凸优化问题,其对偶问题可以通过拉格朗日对偶性(Lagrange duality)得到。对于原始问题:
\[\min f_0(x) \]
\[s.t. \quad f_i(x) \leq 0, i=1,...,m \]
\[\qquad h_i(x) = 0, i=1,...,p \]
其中,\(x\in R^n\)是决策变量,\(f_i(x)\)和\(h_i(x)\)是凸函数。
其对偶问题为:
\[\max \theta(\lambda, \nu) \]
\[s.t. \quad \lambda \geq 0 \]
其中,
\[\theta(\lambda, \nu) = \inf_x {f_0(x) + \sum_{i=1}^m \lambda_i f_i(x) + \sum_{i=1}^p \nu_i h_i(x)} \]
\(\lambda \in R^m\)和\(\nu \in R^p\)是拉格朗日乘子。在对偶问题中,最大化\(\theta(\lambda, \nu)\)相当于找到最优的拉格朗日乘子。对于一个可行的原始问题解\(x\)和可行的拉格朗日乘子\(\lambda\)和\(\nu\),我们有:
\[f_0(x) \geq \theta(\lambda, \nu) \]
这意味着,对于任意可行的拉格朗日乘子,对偶问题的最优解都提供了原始问题的下界。如果对偶问题的解与下界相等,那么它就是原始问题的最优解。
需要注意的是,对偶问题的约束条件通常比原始问题的约束条件更少,并且在许多情况下更容易求解。此外,通过求解对偶问题,我们可以得到一些有用的信息,如KKT条件的充分必要性、原始问题的下界等。