对偶上升法 (Dual Ascent)

对偶上升法

对于一个等式约束的凸优化问题如下：
$$\begin{array}{ll}\mathrm{minimize}& f(x)\\ \text{ subject to }& Ax=b,\end{array}$$
其中， $f(x)$为凸函数。
对偶上升法是一种行之有效的方法。 首先，我们将限制条件通过拉格朗日乘子写入目标中， 得到拉格朗日函数为：
$$L(x,y)=f(x)+y^T(Ax-b)$$

那么，其对偶函数为：
$$g(y)=\underset{x}{\inf }L(x,y)$$
相应的对偶问题为：
$$\text{ maximize }g(y)\text{\hspace{1em}(1)}$$
若强对偶性成立， 则最优解$x^{\star }$由下式给出：
$$x^{\star }=\underset{x}{\mathrm{argmin}}L\left(x,y^{\star }\right),\text{\hspace{1em}(2)}$$
其中$y^{\star }$为(1)的最优解。
接下来，我们考虑如何求解单变量对偶问题(1)， 因为有了(1)的解我们就可以由(2)得到原问题的最优解。

而对偶上升法的算法流程如下：

$$\begin{array}{rl}& x^{k+1}:=\underset{x}{\mathrm{argmin}}L\left(x,y^k\right)\\ & y^{k+1}:=y^k+{\alpha }^k\left(A{x}^{k+1}-b\right),\end{array}$$

流程很简单， 也就是说，我们可以通过一种梯度法的方式迭代求解$y$。 但是，为什么可以这样呢？

对偶上升法的原理

其实对偶上升法的思路就如一开始所说， 寻找一个$y$最大化$g(y)$， 那么给定初始点$y_0$时， 一种常见的做法就是梯度下降法（这里对应的是梯度上升法），即求取$\nabla g(y_0)$, 将$y_1$更新为$y_0+\alpha \nabla g(y_0)$。

就着这个思路，我们事实上就是要求取 $\nabla g(y)$。 注意到，无论$f(x)$是否凸， 对偶函数$g(y)$一定是凹函数 （一族仿射函数的逐点下确界）。 因此， 根据凹函数的一阶条件，我们有：
$$g(z)\le g(y)+\nabla g(y{)}^T(z-y)\forall z\text{\hspace{1em}(3)}$$

注意到， 根据$g$的定义， $g(z)$可写为：
$$g(z)=\underset{x}{\inf }(f(x)+z^T(Ax-b))=\underset{x}{\inf }(f(x)+y^T(Ax-b)+(z-y{)}^T(Ax-b))$$
令 $x^{+}\in \mathrm{argmin}L(x,y)$, 我们有：
$$\begin{gathered} g(z)=\underset{x}{\inf }(f(x)+y^T(Ax-b)+(z-y{)}^T(Ax-b))\le (f(x^{+})+y^T(A{x}^{+}-b)+(z-y{)}^T(A{x}^{+}-b)) \\ =g(y)+(A{x}^{+}-b{)}^T(z-y)\text{\hspace{1em}(4)} \end{gathered}$$

第一个不等式是下确界的性质， 第二个等式是$g$的定义。 这时我们注意到， 对比(3)和(4)， 我们发现
$$\nabla g(y)=A{x}^{+}-b$$.

现在，回过头来看对偶上升法的流程， 第一步在求$x^{+}$， 第二步就是根据 $\nabla g(y)$ 更新 $y$。 因此，对偶上升法的收敛性是明确的， 因为这本质是就是一种梯度上升法。

可以一提的是， 如果$\arg {\min }_{x}L(x,y)$ 在给定$y$的情况下， 可以很容易得到$x$的闭式解$x=\varphi (y)$的话， 也可以通过把 $\varphi (y)$代入$g(y)$中， 这样就无需对偶上升，只需对$y$一次性迭代求解即可。

次梯度

我们刚忽略了一种情况， 那就是如果$f(x)$并不是严格凸的时候， 会存在$g(y)$不可导的情况，即$\nabla g(y)$不存在。 此时，则需要引出次梯度的概念， 使得对偶上升法仍可以工作。