对偶问题

对偶问题是原始优化问题的另一种表述方式。在对偶问题中，优化的目标函数和约束条件都与原始问题不同，但两个问题具有等价的最优解。通过解决对偶问题，可以间接地得到原始问题的最优解，这种方法称为对偶法。

对于一个凸优化问题，其对偶问题可以通过拉格朗日对偶性(Lagrange duality)得到。对于原始问题：

\[\min f_0(x) \]

\[s.t. \quad f_i(x) \leq 0, i=1,...,m \]

\[\qquad h_i(x) = 0, i=1,...,p \]

其中，\(x\in R^n\)是决策变量，\(f_i(x)\)和\(h_i(x)\)是凸函数。

其对偶问题为：

\[\max \theta(\lambda, \nu) \]

\[s.t. \quad \lambda \geq 0 \]

其中，

\[\theta(\lambda, \nu) = \inf_x {f_0(x) + \sum_{i=1}^m \lambda_i f_i(x) + \sum_{i=1}^p \nu_i h_i(x)} \]

\(\lambda \in R^m\)和\(\nu \in R^p\)是拉格朗日乘子。在对偶问题中，最大化\(\theta(\lambda, \nu)\)相当于找到最优的拉格朗日乘子。对于一个可行的原始问题解\(x\)和可行的拉格朗日乘子\(\lambda\)和\(\nu\)，我们有：

\[f_0(x) \geq \theta(\lambda, \nu) \]

这意味着，对于任意可行的拉格朗日乘子，对偶问题的最优解都提供了原始问题的下界。如果对偶问题的解与下界相等，那么它就是原始问题的最优解。

需要注意的是，对偶问题的约束条件通常比原始问题的约束条件更少，并且在许多情况下更容易求解。此外，通过求解对偶问题，我们可以得到一些有用的信息，如KKT条件的充分必要性、原始问题的下界等。