最优化学习笔记：对偶算法

8.5 对偶算法（1）

对于复合优化问题，许多实际问题的原始问题有时候比较难以处理，这时候可以考虑它的对偶问题．本节将讲解两种算法：一种是把前面提到的算法应用到对偶问题上，例如对偶近似点梯度法；另一种是同时把原始问题和对偶问题结合起来考虑，例如原始–对偶混合梯度类的算法.
为了方便起见，这一节主要考虑如下形式的问题：
$$(\text{P})\underset{x\in {\mathbb{R}}^n}{\min }\psi (x)=f(x)+h(Ax)(\mathrm{8.5.1})$$

其中 $f,h$ 都是闭凸函数，$A\in {\mathbb{R}}^{m\times n}$ 为实数矩阵. 通过引入约束 $y=Ax$, 可以写出与问题 (8.5.1) 等价的约束优化问题：
$$\begin{array}{rl}\min & f(x)+h(y)\\ s.t.& y=Ax\end{array}(\mathrm{8.5.2})$$

对约束 $y=Ax$ 引入乘子 $z$, 得到拉格朗日函数
$$\begin{array}{rl}L(x,y,z)& =f(x)+h(y)-z^{\mathrm{T}}(y-Ax)\\ & =(f(x)+(A^{\mathrm{T}}z{)}^{\mathrm{T}}x)+(h(y)-z^{\mathrm{T}}y).\end{array}$$

利用共轭函数的定义 (2.6.1), 可计算拉格朗日对偶问题为
$$(\mathrm{D})\underset{z}{\max }\varphi (z)=-f^{\ast }(-A^{\mathrm{T}}z)-h^{\ast }(z)(\mathrm{8.5.3})$$

定义 2.19 (共轭函数) 任一适当函数 $f$ 的共轭函数定义为 f ∗ ( y ) = sup ⁡ x ∈ dom f { y T x − f ( x ) } ( 2.6.1 ) f^*(y)=\sup\limits_{x\in\textbf{dom}f}\{y^\text{T}x-f(x)\}\quad(2.6.1) f∗(y)=x∈domfsup​{yTx−f(x)}(2.6.1).

8.5.1 对偶近似点梯度法

本小节我们将近似点梯度算法应用到对偶问题上，得到对偶近似点梯度法，还将讨论与其等价的、针对原始问题设计的算法.
对偶问题 (8.5.3) 是无约束的复合优化形式，因此可以考虑近似点梯度算法. 要在对偶问题上使用近似点梯度法，要求对偶问题的目标函数 $\varphi (z)$ 满足 “可微函数+凸函数” 的复合形式.
如果假设原始问题中 $f(x)$ 是闭的强凸函数 (强凸参数为 $\mu$), 下面的引理说明其共轭函数是定义在全空间 ${\mathbb{R}}^n$ 上的梯度利普希茨连续函数：

引理 8.5 (强凸函数共轭函数的性质) 设 $f(x)$ 是适当且闭的强凸函数， 其强凸参数为 $\mu >0,f^{\ast }(y)$ 是 $f(x)$ 的共轭函数，则 $f^{\ast }(y)$ 在全空间 ${\mathbb{R}}^n$ 上有定义，且 $f^{\ast }(y)$ 是梯度 $\frac{1}{\mu }$-利普希茨连续的可微函数.

证明：
对任意的 $y\in {\mathbb{R}}^n$, 函数 $f(x)-x^{\mathrm{T}}y$ 是强凸函数，因此对任意的 $y\in {\mathbb{R}}^n$, 存在唯一的 $x\in \mathbf{dom}f$, 使得 $f^{\ast }(y)=x^{\text{T}}y-f(x)$. 根据凸优化问题的一阶最优性条件可知
$$y\in \partial f(x)\iff f^{\ast }(y)=x^{\mathrm{T}}y-f(x)$$

由于 $f(x)$ 是闭凸函数，由定理 2.15 可知 $f(x)$ 的二次共轭为其本身，于是对同一组 $x,y$ 有
$$x^{\mathrm{T}}y-f^{\ast }(y)=f(x)=f^{\ast \ast }(x)=\underset{y}{\sup }\left\{x^{\mathrm{T}}y-f^{\ast }(y)\right\}$$

这说明 $y$ 也使得 $x^{\mathrm{T}}y-f^{\ast }(y)$ 取到最大值. 根据一阶最优性条件，$x\in \partial f^{\ast }(y)$.
再根据 $x$ 的唯一性容易推出 $\partial f^{\ast }(y)$ 中只含一个元素，故 $f^{\ast }(y)$ 可微.
下证 $f^{\ast }(y)$ 为梯度 $\frac{1}{\mu }$-利普希茨连续的. 对任意的 $y_1,y_2$, 存在唯一的 $x_1,x_2\in \mathbf{dom}f$ 使得
$$y_1\in \partial f(x_1),y_2\in \partial f(x_2).$$

根据次梯度性质以及 $f(x)-\frac{\mu }{2}\Vert x{\Vert }^2$ 是凸函数，
$$\begin{array}{rl}f(x_2)-\frac{\mu }{2}\Vert x_2{\Vert }^2& ⩾f(x_1)-\frac{\mu }{2}\Vert x_1{\Vert }^2+(y_1-\mu x_1{)}^{\mathrm{T}}(x_2-x_1),\\ f(x_1)-\frac{\mu }{2}\Vert x_1{\Vert }^2& ⩾f(x_2)-\frac{\mu }{2}\Vert x_2{\Vert }^2+(y_2-\mu x_2{)}^{\mathrm{T}}(x_1-x_2),\end{array}$$

将上述两式相加得
$$(y_1-y_2{)}^{\mathrm{T}}(x_1-x_2)⩾\mu \Vert x_1-x_2{\Vert }^2.$$
根据 $x$ 和 $y$ 的关系我们有 $x_1=\nabla f^{\ast }(y_1),x_2=\nabla f^{\ast }(y_2)$, 代入上式可得
$$(y_1-y_2{)}^{\mathrm{T}}(\nabla f^{\ast }(y_1)-\nabla f^{\ast }(y_2))⩾\mu \Vert \nabla f^{\ast }(y_1)-\nabla f^{\ast }(y_2){\Vert }^2.$$

这正是 $\nabla f^{\ast }(y)$ 的余强制性，根据引理 6.1 可知 $\nabla f^{\ast }(y)$ 是 $\frac{1}{\mu }$-利普希茨连续的.

经过上面的推导，我们知道 $\nabla f^{\ast }$ 是利普希茨连续函数，因此在对偶问题 (8.5.3) 中 $f^{\ast }(-A^{\mathrm{T}}z)$ 是梯度 $\frac{1}{\mu }\Vert A{\Vert }_2^2$-利普希茨连续的函数，这是因为对于任意的 $z_1,z_2$, 有
$$\begin{array}{rl}\Vert A\nabla f^{\ast }(-A^{\mathrm{T}}{z}_1)-A\nabla f^{\ast }(-A^{\mathrm{T}}{z}_2)\Vert & ⩽\frac{1}{\mu }\Vert A{\Vert }_2\Vert A^{\mathrm{T}}(z_1-z_2)\Vert ⩽\frac{\Vert A{\Vert }_2^2}{\mu }\Vert z_1-z_2\Vert \end{array}$$

考虑在对偶问题上应用近似点梯度算法，每次迭代更新如下：
$$z^{k+1}={\mathrm{prox}}_{t{h}^{\ast }}(z^k+tA\nabla f^{\ast }(-A^{\mathrm{T}}{z}^k))(\mathrm{8.5.4})$$

注意对偶问题是取最大值，因此邻近算子内部应该取上升方向. 引入变量 $x^{k+1}=\nabla f^{\ast }(-A^{\mathrm{T}}{z}^k)$, 利用共轭函数的性质得 $-A^{\mathrm{T}}{z}^k\in \partial f(x^{k+1})$. 因此选代格式 (8.5.4) 等价于
x k + 1 = arg min ⁡ x { f ( x ) + ( A T z k ) T x } z k + 1 = p r o x t h ∗ ( z k + t A x k + 1 ) ( 8.5.5 ) \begin{aligned}&x^{k+1}=\argmin_{x}\{f(x)+(A^{\mathrm{T}}z^{k})^{\mathrm{T}}x\}\\&z^{k+1}=\mathrm{prox}_{th^{*}}(z^{k}+tAx^{k+1})\end{aligned}\qquad(8.5.5) ​xk+1=xargmin​{f(x)+(ATzk)Tx}zk+1=proxth∗​(zk+tAxk+1)​(8.5.5)

迭代格式 (8.5.5) 仅仅将计算 $\nabla f^{\ast }(-A^{\mathrm{T}}{z}^k)$ 化成了一个共轭函数的求解问题， 本质上和迭代格式 (8.5.4) 是一样的.

下面的分析提供另一种角度来理解对偶近似点梯度法.
我们先引入有关邻近算子和共轭函数的一个重要性质：Moreau 分解.

引理 8.6 (Moreau 分解) 设 $f$ 是定义在5 ${\mathbb{R}}^n$ 上的适当的闭凸函数，则对任意的 $x\in {\mathbb{R}}^n$,
$$x={\mathrm{prox}}_f(x)+{\mathrm{prox}}_{f^{\ast }}(x)(\mathrm{8.5.6})$$

或更一般地，
$$x={\mathrm{prox}}_{\lambda f}(x)+\lambda {\mathrm{prox}}_{{\lambda }^{-1}{f}^{\ast }}\left(\frac{x}{\lambda }\right)(\mathrm{8.5.7})$$

其中 $\lambda >0$ 为任意正实数.

Moreau 分解的结论表明：对任意的闭凸函数 $f$, 空间 ${\mathbb{R}}^n$ 上的恒等映射总可以分解成两个函数 $f$ 与 $f^{\ast }$ 邻近算子的和.

根据 Moreau 分解的一般形式 (取 $\lambda =t,f=h^{\ast }$, 并注意到 $h^{\ast \ast }=h$), 我们有
$$\begin{array}{rl}{z}^k+tA{x}^{k+1}& ={\mathrm{prox}}_{t{h}^{\ast }}(z^k+tA{x}^{k+1})+t{\mathrm{prox}}_{t^{-1}h}\left(\frac{z^k}{t}+A{x}^{k+1}\right)\\ & =z^{k+1}+t{\mathrm{prox}}_{t^{-1}h}(\frac{z^k}{t}+A{x}^{k+1})\end{array}$$

由此给出对偶近似点梯度法等价的针对原始问题的更新格式：
$$\begin{array}{rl}& x^{k+1}=\underset{x}{\mathrm{argmin}}\left\{f(x)+(z^k{)}^{\mathrm{T}}Ax\right\}\\ & y^{k+1}={\mathrm{prox}}_{t^{-1}h}\left(\frac{z^k}{t}+A{x}^{k+1}\right)=\underset{y}{\mathrm{argmin}}\left\{h(y)-(z^k{)}^{\mathrm{T}}(y-A{x}^{k+1})+\frac{t}{2}\Vert A{x}^{k+1}-y{\Vert }_2^2\right\}\\ & z^{k+1}=z^k+t(A{x}^{k+1}-y^{k+1})\end{array}(\mathrm{8.5.8})$$

考虑约束优化问题 (8.5.2)：
$$\underset{x,y}{\min }f(x)+h(y)s.t.y=Ax$$

定义拉格朗日函数和增广拉格朗日函数：
$$\begin{array}{rl}& L(x,y,z)=f(x)+h(y)-z^{\mathrm{T}}(y-Ax)\\ & L_t(x,y,z)=f(x)+h(y)-z^{\mathrm{T}}(y-Ax)+\frac{t}{2}\Vert y-Ax{\Vert }^2\end{array}$$

则迭代格式 (8.5.8) 可以等价地写为
$$\begin{array}{rl}& x^{k+1}=\underset{x}{\mathrm{argmin}}L(x,y^k,z^k)\\ & y^{k+1}=\underset{y}{\mathrm{argmin}}{L}_t(x^{k+1},y,z^k)\\ & z^{k+1}=z^k+t(A{x}^{k+1}-y^{k+1})\end{array}(\mathrm{8.5.9})$$

迭代格式 (8.5.9) 又称为交替极小化方法：第一步迭代为在拉格朗日函数中关于 $x$ 求极小，第二步迭代为在增广拉格朗日函数中关于 $y$ 求极小，第三步迭代为更新拉格朗日乘子．上面的分析表明，对偶近似点梯度法等价于对原始约束问题(8.5.2)使用交替极小化方法．若 $f$ 可分，可将 $x$ 的求解划分成几个独立的子问题求解；在 $z$ 的更新中，步长 $t$ 可以为常数，或者由线搜索决定．在上述更新框架下，还可以考虑引入加速版本的近似点梯度算法．

下面给出四个例子来说明如何拆分和使用对偶近似点梯度法．

例 8.15 (正则化范数近似) 假设 $f$ 是强凸函数，考虑
$$\min f(x)+\Vert Ax-b\Vert$$

其中 $\Vert \cdot \Vert$ 是任意一种范数. 对应原始问题 (8.5.1), 有 $h(y)=\Vert y-b\Vert$, 可计算出 $h(y)$ 的共轭函数为
$$h^{\ast }(z)=\{\begin{array}{l}{b}^{\mathrm{T}}z,\Vert z{\Vert }_{\ast }⩽1\\ +\infty ,\text{其他}\end{array}$$

其中 $\Vert \cdot {\Vert }_{\ast }$ 表示 $\Vert \cdot \Vert$ 的对偶范数.

计算 $h(y)=\Vert y-b\Vert$ 的共轭函数 $h^{\ast }(z)$, 使用共轭函数的定义. 共轭函数 $h^{\ast }(z)$ 定义为：$h^{\ast }(z)=\underset{y}{\sup }\left(y^{\mathrm{T}}z-h(y)\right)$，$h(y)=\Vert y-b\Vert$
因此，我们需要计算：
$$h^{\ast }(z)=\underset{y}{\sup }\left(y^{\mathrm{T}}z-\Vert y-b\Vert \right)$$

首先进行变量替换，令 $u=y-b$, 有 $y=u+b$, 并且 $h(y)=\Vert u\Vert$。将变量替换代入共轭函数的定义中，得到：
$$\begin{array}{rl}{h}^{\ast }(z)=& \underset{u}{\sup }\left((u+b{)}^{\mathrm{T}}z-\Vert u\Vert \right)\\ =& \underset{u}{\sup }\left(u^{\mathrm{T}}z+b^{\mathrm{T}}z-\Vert u\Vert \right)\\ =& b^{\mathrm{T}}z+\underset{u}{\sup }\left(u^{\mathrm{T}}z-\Vert u\Vert \right)\end{array}$$

然后考虑 $\underset{u}{\sup }\left(u^{\mathrm{T}}z-\Vert u\Vert \right)$
当 $\Vert z{\Vert }_{\ast }⩽1$ 时：
当 $u=0$，$u^{\text{T}}z-\Vert u\Vert =0^{\text{T}}z-\Vert 0\Vert =0$
对于其他的 $u$ 假设 $u^{\mathrm{T}}z-\Vert u\Vert >0$. 根据对偶范数的定义，对于任何 $u$，有 $u^{\mathrm{T}}z\le \Vert u\Vert \Vert z{\Vert }_{\ast }$
当 $\Vert z{\Vert }_{\ast }\le 1$ 时，$u^{\mathrm{T}}z\le \Vert u\Vert$
所以：$u^{\mathrm{T}}z-\Vert u\Vert \le 0$，与假设矛盾.
因此，当$\Vert z{\Vert }_{\ast }\le 1$时，${\sup }_u\left(u^{\text{T}}z-\Vert u\Vert \right)=0$

当 $\Vert z{\Vert }_{\ast }>1$ 时，假设 $u$ 的方向与 $z$ 相同，使得$u=\lambda z$, 且 $\lambda \to \infty$, 有：
$u^{\mathrm{T}}z=\lambda z^{\mathrm{T}}z$
$\Vert u\Vert =\Vert \lambda z\Vert =\lambda \Vert z\Vert$
当 $\lambda \to \infty$ 时，$u^{\mathrm{T}}z-\Vert u\Vert =\lambda z^{\mathrm{T}}z-\lambda \Vert z\Vert$
由于$\Vert z{\Vert }_{\ast }>1$, 有 $\sup_u\left(u^\mathrm{T}z-|u|\right)=\infty $

从而对偶问题为：
$$\underset{\Vert z{\Vert }_{\ast }⩽1}{\max }-f^{\ast }(-A^{\mathrm{T}}z)-b^{\mathrm{T}}z$$

应用对偶近似点梯度法，更新如下：
$$\begin{array}{rl}{x}^{k+1}=& \underset{x}{\mathrm{argmin}}\left\{f(x)+(A^{\mathrm{T}}{z}^k{)}^{\mathrm{T}}x\right\}\\ z^{k+1}=& {\mathcal{P}}_{\Vert z{\Vert }_{\ast }⩽1}(z^k+t(A{x}^{k+1}-b))\end{array}$$

例 8.16 假设 $f$ 是强凸函数，考虑
$$\min f(x)+\sum _{i=1}^p\Vert B_{i}x{\Vert }_2$$

即 $h(y_1,y_2,\cdots ,y_p)=\sum _{i=1}^p\Vert y_i{\Vert }_2$, 且
$$A={\left[\begin{array}{cccc}{B}_1^{\mathrm{T}}& B_1^{\mathrm{T}}& \cdots & B_p^{\mathrm{T}}\end{array}\right]}^{\mathrm{T}}$$

假定 $B_i\in {\mathbb{R}}^{m_i\times n}$, 记 $C_i$ 是 ${\mathbb{R}}_{m_i}$ 中的单位欧几里得球，根据 $\Vert \cdot {\Vert }_2$ 的共轭函数定义，对偶问题形式如下：
$$\underset{\Vert z_i{\Vert }_2⩽1}{\max }-f^{\ast }\left(-\sum _{i=1}^p{B}_i^{\mathrm{T}}{z}_i\right)$$

从而对偶近似点梯度法更新如下：
$$\begin{array}{r}{x}^{k+1}=\underset{x}{\mathrm{argmin}}\left\{f(x)+(\sum _{i=1}^p{B}_i^{\mathrm{T}}{z}_i{)}^{\mathrm{T}}x\right\}\\ z_i^{k+1}={\mathcal{P}}_{C_{\mathrm{i}}}(z_i^k+t{B}_i{x}^{k+1}),i=1,2,\cdots ,p\end{array}$$

计算对偶问题形式
1.给定原问题：
$$\underset{x}{\min }f(x)+\sum _{i=1}^p\Vert B_{i}x{\Vert }_2$$

引入变量 $y_i=B_{i}x$, 将问题转化为：
$$\begin{array}{rl}\underset{x,y_1,\dots ,y_p}{\min }& f(x)+\sum _{i=1}^p\Vert y_i{\Vert }_2\\ s.t.& y_i=B_{i}x,i=1,\dots ,p\end{array}$$

2.拉格朗日函数
引入拉格朗日乘子 $z_i$, 构建拉格朗日函数：
$$\mathcal{L}(x,y_1,\dots ,y_p,z_1,\dots ,z_p)=f(x)+\sum _{i=1}^p\Vert y_i{\Vert }_2+\sum _{i=1}^p{z}_i^{\mathrm{T}}(B_{i}x-y_i)$$

3.对偶函数的定义
对偶函数 $g(z_1,\dots ,z_p)$ 定义为：
$$g(z_1,\dots ,z_p)=\underset{x,y_1,\dots ,y_p}{\inf }\mathcal{L}(x,y_1,\dots ,y_p,z_1,\dots ,z_p)$$

首先对 $y_i$ 进行极小化：
$$\underset{y_i}{\inf }\left(\Vert y_i{\Vert }_2-z_i^{\mathrm{T}}{y}_i\right)$$

4.求解 $y_i$ 的极小值
对每个 $i$ 而言，求解上述极小化问题：
$$\underset{y_i}{\inf }\left(\Vert y_i{\Vert }_2-z_i^{\mathrm{T}}{y}_i\right)=\{\begin{array}{ll}0& \text{if}\Vert z_i{\Vert }_2\le 1\\ -\infty & \text{其他}\end{array}$$

这意味着 $z_i$ 必须满足 $\Vert z_i{\Vert }_2\le 1.$
5.求解 $x$ 的极小值
接下来对 $x$ 进行极小化
$$\underset{x}{\inf }\left(f(x)+\sum _{i=1}^p{z}_i^{\mathrm{T}}{B}_{i}x\right)=\underset{x}{\inf }\left(f(x)+{\left(\sum _{i=1}^p{B}_i^{\mathrm{T}}{z}_i\right)}^{\mathrm{T}}x\right)$$
令 $g=-\sum _{i=1}^p{B}_i^{\mathrm{T}}{z}_i$, 上述表达式等价于：
$$-f^{\ast }(g)$$

其中，$f^{\ast }(g)$ 是 $f(x)$ 的共轭函数，定义为：
$$f^{\ast }(g)=\underset{x}{\sup }\left(g^{\text{T}}x-f(x)\right)$$

因此，对 $x$ 的极小化问题变为：
$$\underset{x}{\inf }\left(f(x)+g^{\mathrm{T}}x\right)=-f^{\ast }(-g)$$

6.对偶问题的形式化
综合上述结果，对偶函数为：
$$g(z_1,\dots ,z_p)=\{\begin{array}{ll}-f^{\ast }\left(-\sum _{i=1}^p{B}_i^{\mathrm{T}}{z}_i\right)& \text{if}\Vert z_i{\Vert }_2\le 1\forall i\\ -\infty & \text{其他}\end{array}$$

对偶问题即最大化对偶函数：
$$\underset{z_1,\dots ,z_p}{\max }g(z_1,\dots ,z_p)$$

这等价于
$$\underset{\Vert z_i{\Vert }_2⩽1}{\max }-f^{\ast }\left(-\sum _{i=1}^p{B}_i^{\mathrm{T}}{z}_i\right)$$

例 8.17 (在凸集交上的极小化) 假设 $f$ 是强凸函数，考虑
$$\begin{array}{rl}& \min f(x)\\ & s.t.x\in C_1\cap C_2\cap \cdots \cap C_m\end{array}$$

其中 $C_i$ 为闭凸集，易于计算投影. 记 $h(y_1,y_2,\cdots ,y_m)=\sum _{i=1}^m{I}_{C_i}(y_i)$, 以及 $A={\left[\begin{array}{cccc}I& I& \cdots & I\end{array}\right]}^{\mathrm{T}}$

从而对偶问题形式如下：
$$\underset{z_i\in C_i}{\max }-f^{\ast }\left(-\sum _{i=1}^m{z}_i\right)-\sum _{i=1}^m{I}_{C_i}^{\ast }(z_i)$$

利用共轭函数的性质可知 $I_{C_i}^{\ast }(z_i)$ 是集合 $C_i$ 的支撑函数，其显式表达式不易求出. 因此我们利用 Moreau 分解将迭代格式写成交替极小化方法的形式：
$$\begin{array}{rl}& x^{k+1}=\underset{x}{\mathrm{argmin}}\left\{f(x)+{\left(\sum _{i=1}^m{z}_i\right)}^{\mathrm{T}}x\right\}\\ & y_i^{k+1}={\mathcal{P}}_{C_i}\left(\frac{z_i^k}{t}+x^{k+1}\right),i=1,2,\cdots ,m\\ & z_i^{k+1}=z_i^k+t(x^{k+1}-y_i^{k+1}),i=1,2,\cdots ,m\end{array}$$

例 8.18 (可分问题的拆分) 假设 $f_i$ 是强凸函数，$h_i^{\ast }$ 有易于计算的邻近算子. 考虑
$$\min \sum _{j=1}^n{f}_j(x_j)+\sum _{i=1}^m{h}_i(A_{i1}{x}_1+A_{i2}{x}_2+\cdots +A_{in}{x}_N)$$

其对偶问题形式如下：
$$\max -\sum _{i=1}^m{h}_i^{\ast }(z_i)-\sum _{j=1}^n{f}_j^{\ast }(-A_{1j}^{\mathrm{T}}{z}_1-A_{2j}^{\mathrm{T}}{z}_2-\cdots -A_{mj}^{\mathrm{T}}{z}_m)$$

对偶近似点梯度法更新如下：
$$\begin{gathered} x_j^{k+1}=\underset{x_j}{\mathrm{argmin}}\left\{f_j(x_j)+(\sum _{i=1}^m{A}_{ij}{z}_i^k{)}^{\mathrm{T}}{x}_j\right\},j=1,2,\cdots ,n \\ {z}_i^{k+1}={\mathrm{prox}}_{t{h}_i^{\ast }}\left(z_i+t\sum _{j=1}^n{A}_{ij}{x}_j^{k+1}\right),i=1,2,\cdots ,m \end{gathered}$$

8.5.2 原始–对偶混合梯度算法

本小节介绍原始–对偶混合梯度（primal-dual hybrid gradient, PDHG）算法．对于给定的优化问题，我们可以从原始问题或对偶问题出发来设计相应算法求解．相比于直接在原始问题上或者对偶问题上应用优化算法求解，PDHG 算法在每次迭代时同时考虑原始变量和对偶变量的更新．这使得它在一定程度上可以有效避免单独针对原始问题或对偶问题求解算法中可能出现的问题，例如，原始问题梯度为零向量或不可微，对偶问题形式复杂等．本小节将介绍原始–对偶混合梯度算法以及它的一个变形——Chambolle-Pock 算法．

PDHG 算法的构造要从鞍点问题谈起. 考虑原始问题:
$$\min f(x)+h(Ax)(\mathrm{8.5.1})$$

其中 $f,h$ 是适当的闭凸函数. 由于 $h$ 有自共轭性，我们将问题 (8.5.1) 变形为
$$({\mathrm{L}}_{\mathrm{PD}})\underset{x}{\min }\underset{z}{\max }{\psi }_{PD}(x,z)\stackrel{\mathrm{def}}{=}f(x)-h^{\ast }(z)+z^{\mathrm{T}}Ax(\mathrm{8.5.10})$$

此时问题变成了一个极小-极大问题，即关于变量 $x$ 求极小，关于变量 $z$ 求极大，这是一个典型的鞍点问题.

另一种常用的鞍点问题定义方式是直接利用带约束的问题 (8.5.2) 构造拉格朗日函数. 问题
$$\underset{x\in {\mathbb{R}}^n,y\in {\mathbb{R}}^m}{\min }f(x)+h(y),s.t.y=Ax.$$

相应的鞍点问题形式如下：
$$({\mathrm{L}}_{\mathrm{P}})\underset{x,y}{\min }\underset{z}{\max }f(x)+h(y)+z^{\mathrm{T}}(Ax-y)(\mathrm{8.5.11})$$

类似地，在对偶问题 (8.5.3) 中引入变量 $w=-A^{\mathrm{T}}z$, 则可定义鞍点问题
$$({\mathrm{L}}_{\mathrm{D}})\underset{p}{\min }\underset{w,z}{\max }-f^{\ast }(w)-h^{\ast }(z)+p^{\mathrm{T}}(w+A^{\mathrm{T}}z)(\mathrm{8.5.12})$$

鞍点问题是关于某些变量求极小的同时关于另一些变量求极大，直接求解比较困难. PDHG 算法的思想就是分别对两类变量应用近似点梯度算法. 以求解问题 (8.5.10) 为例，PDHG 算法交替更新原始变量以及对偶变量，其迭代格式如下：
$$\begin{array}{rl}{z}^{k+1}& =\underset{z}{\mathrm{argmax}}\left\{-h^{\ast }(z)+⟨A{x}^k,z-z^k⟩-\frac{1}{2{\delta }_k}\Vert z-z^k{\Vert }_2^2\right\}\\ & ={\mathrm{prox}}_{{\delta }_k{h}^{\ast }}(z^k+{\delta }_{k}A{x}^k)\\ x^{k+1}& =\underset{x}{\mathrm{argmin}}\left\{f(x)+(z^{k+1}{)}^{\mathrm{T}}A(x-x^k)+\frac{1}{2{\alpha }_k}\Vert x-x^k{\Vert }_2^2\right\}\\ & ={\mathrm{prox}}_{{\alpha }_{k}f}(x^k-{\alpha }_k{A}^{\mathrm{T}}{z}^{k+1})\end{array}(\mathrm{8.5.13})$$

其中 ${\alpha }_k,{\delta }_k$ 分别为原始变量和对偶变量的更新步长.它在第一步固定原始变量 $x^k$ 针对对偶变量做梯度上升，在第二步固定更新后的对偶变量 $z^{k+1}$ 针对原始变量做梯度下降. 在这里注意，原始变量和对偶变量的更新顺序是无关紧要的，若先更新原始变量，其等价于在另一初值下先更新对偶变量.

事实上，PDHG 算法在 ${\alpha }_k=+\infty ,{\delta }_k=+\infty$ 这两种特殊情况下等价于近似点梯度算法分别应用于对偶问题和原始问题. 首先考虑 ${\alpha }_k=+\infty$ 的情形. 此时交换两步迭代的顺序，PDHG 算法 (8.5.13) 可以写为
x k + 1 = arg min ⁡ x { f ( x ) + ( z k ) T A x } z k + 1 = p r o x δ k h ∗ ( z k + δ k A x k + 1 ) ( 8.5.14 ) \begin{aligned}x^{k+1}&=\argmin_{x}\{f(x)+(z^{k})^{\mathrm{T}}Ax\}\\z^{k+1}&=\mathrm{prox}_{\delta_{k}h^{*}}(z^{k}+\delta_{k}Ax^{k+1})\end{aligned}\qquad(8.5.14) xk+1zk+1​=xargmin​{f(x)+(zk)TAx}=proxδk​h∗​(zk+δk​Axk+1)​(8.5.14)

可以看到，其实质上就是迭代格式 (8.5.5), 其中 ${\delta }_k$ 是步长. 类似地，我们也可以写出 ${\delta }_k=+\infty$ 的情形：
z k + 1 = arg min ⁡ z { h ∗ ( z ) − ( A x k ) T z } x k + 1 = p r o x α k f ( x k − α k A T z k + 1 ) ( 8.5.15 ) \begin{aligned}z^{k+1}&=\argmin_{z}\{h^{*}(z)-(Ax^{k})^{\mathrm{T}}z\}\\x^{k+1}&=\mathrm{prox}_{\alpha_{k}f}(x^{k}-\alpha_{k}A^{\mathrm{T}}z^{k+1})\end{aligned}\qquad(8.5.15) zk+1xk+1​=zargmin​{h∗(z)−(Axk)Tz}=proxαk​f​(xk−αk​ATzk+1)​(8.5.15)

假定 $h$ 和 $h^{\ast }$ 都是可微的，由迭代格式 (8.5.15) 的第一式的最优性条件，可知 $A{x}^k=\nabla h^{\ast }(z^{k+1})$.

设目标函数为 $\varphi (z)=h^{\ast }(z)-(A{x}^k{)}^{\mathrm{T}}z$，为了找到其最优点 $z^{k+1}$，我们需要满足最优性条件，即：
$$\nabla \varphi (z^{k+1})=0$$

对 $\varphi (z)$ 求梯度：$$\nabla \varphi (z)=\nabla h^{\ast }(z)-A{x}^k$$

因此，最优性条件为：$$\nabla h^{\ast }(z^{k+1})-A{x}^k=0$$

即 $$A{x}^k=\nabla h^{\ast }(z^{k+1}).$$

再利用共轭函数的性质，有 $z^{k+1}=\nabla h(A{x}^k)$, 所以 $x^{k+1}$ 的更新等价于
$$x^{k+1}={\mathrm{prox}}_{{\alpha }_{k}f}(x^k-{\alpha }_k{A}^{\mathrm{T}}\nabla h(A{x}^k))$$

这实际上就是对原始问题应用近似点梯度算法.

PDHG 算法的收敛性需要比较强的条件，在有些情形下未必收敛.
Chambolle-Pock 算法与 PDHG 算法的区别在于多了一个外推步，具体的迭代格式如下：
$$\begin{array}{rl}& z^{k+1}={\mathrm{prox}}_{{\delta }_k{h}^{\ast }}(z^k+{\delta }_{k}A{y}^k)\\ & x^{k+1}={\mathrm{prox}}_{{\alpha }_{k}f}(x^k-{\alpha }_k{A}^{\mathrm{T}}{z}^{k+1})\\ & y^{k+1}=2x^{k+1}-x^k\end{array}(\mathrm{8.5.16})$$

参考教材：最优化：建模、算法与理论