求解凸优化问题的对偶上升法

考虑优化问题：
$$\begin{array}{ll}{\min }_x& f(x)\\ & \\ s.t.& c_1(x)=0\\ & \\ & c_2(x)\ge 0\end{array}$$

构造拉格朗日函数：
$$L(x,\lambda )=f(x)-{\lambda }_1{c}_1(x)-{\lambda }_2{c}_2(x)$$
等式约束的对偶变量 ${\lambda }_1$ 在拉格朗日函数中取正取负都行，但不等式约束的对偶变量 ${\lambda }_2$ 在这里取正。

因此在可行域 D = { x ∣ c 1 ( x ) = 0 , c 2 ( x ) ≥ 0 } D=\{x| c_1(x) = 0, c_2(x) \geq0\} D={x∣c1​(x)=0,c2​(x)≥0} 内，原目标函数 $f(x)$ 是拉格朗日函数的一个上界，即
$$\underset{\lambda }{\max }L(x,\lambda )=\{\begin{array}{lr}f(x),& x\in D,\\ +\infty ,& otherwise.\end{array}$$

所以原优化问题等价于：
$$\underset{x}{\min }f(x)=\underset{x}{\min }\underset{\lambda }{\max }L(x,\lambda )$$

原来的约束优化问题转成了一个 $\min \max$ 问题。

对偶问题

要引出对偶问题，就需要用到一个非常重要的不等式：
$$\underset{x}{\min }\underset{\lambda }{\max }L(x,\lambda )\ge \underset{\lambda }{\max }\underset{x}{\min }L(x,\lambda )\text{\hspace{1em}(1)}$$

证明起来非常容易，因为： $$\underset{\lambda }{\max }L(x,\lambda )\ge L(x,\lambda )\ge \underset{x}{\min }L(x,\lambda )$$

那么上式左端的最小值也会大于右端的最大值，如(1)所示。

$\max \min$ 问题称为原问题的对偶问题，对偶问题的最优值小于等于原问题的最优值，两者之差（绝对值）称为对偶间隙。当对偶间隙为零时，对偶问题的最优解就是原问题的最优解。所以有时候对偶问题比原问题更容易求解时，可以选择求解对偶问题。

对偶上升法

当凸优化问题满足强对偶条件，对偶间隙为零，即
$$\underset{x}{\min }\underset{\lambda }{\max }L(x,\lambda )=\underset{\lambda }{\max }\underset{x}{\min }L(x,\lambda )$$

这就意味着先找最优的 $x$ 还是先找最优的 $\lambda$ 没有区别，那么我们自然想到交替优化的方法：

• 随机初始化 $x_0,{\lambda }_0$
• 更新 $x$，使得 $x_{t+1}=\arg {\min }_{x}L(x,{\lambda }_t)$
• 更新 $\lambda$，使得 ${\lambda }_{t+1}=\arg {\max }_{\lambda }L(x_{t+1},\lambda )$，甚至为了方便可以直接用梯度上升法：${\lambda }_{t+1}={\lambda }_t+{\eta }_t{\nabla }_{\lambda }L(x_{t+1},\lambda )$

是不是非常简单！！！最重要的是，拉格朗日函数对对偶变量的梯度实在是太简单了！！！！
$$\begin{array}{llc}{\nabla }_{{\lambda }_1}L(x^{\ast },\lambda )& =& -c_1(x^{\ast })\\ {\nabla }_{{\lambda }_2}L(x^{\ast },\lambda )& =& -c_2(x^{\ast })\end{array}$$

对偶上升法中迭代的停止条件：

1. 对偶间隙足够小
2. 原问题的约束条件满足