优化问题-Lagrange对偶问题、KKT条件，对偶优化、ADMM优化

Lagrange对偶问题

优化问题对偶问题定义为：
$$\begin{array}{rl}{\max }_{(\mathbf{\lambda },\mathbf{\nu })\in \mathrm{dom}g}& g(\mathbf{\lambda },\mathbf{\nu })\\ \text{ s.t. }& \mathbf{\lambda }⪰0\end{array}$$

其最优值为： d ⋆ = sup ⁡ { g ( λ , ν ) ∣ λ ⪰ 0 , ν ∈ R p } d^{\star}=\sup \left\{g(\boldsymbol{\lambda}, \boldsymbol{\nu}) \mid \boldsymbol{\lambda} \succeq \mathbf{0}, \boldsymbol{\nu} \in \mathbb{R}^p\right\} d⋆=sup{g(λ,ν)∣λ⪰0,ν∈Rp}。根据原始问题的最优值是其对偶函数的上界可知，$d^{\star }$是原始问题最优值$p^{\star }$的一个下届。

• 弱对偶性：$d^{\star }⩽p^{\star }$，即：$d^{\star }={\sup }_{\mathbf{\lambda }⪰0}{\inf }_{\mathbf{x}}\mathcal{L}(\mathbf{x},\mathbf{\lambda })⩽{\inf }_{\mathbf{x}}{\sup }_{\mathbf{\lambda }⪰0}\mathcal{L}(\mathbf{x},\mathbf{\lambda })=p^{\star }$
• 强对偶性：$d^{\star }=p^{\star }$ ，即：$d^{\star }={\sup }_{\mathbf{\lambda }⪰0}{\inf }_{\mathbf{x}}\mathcal{L}(\mathbf{x},\mathbf{\lambda })=\mathcal{L}\left({\mathbf{x}}^{\star },{\mathbf{\lambda }}^{\star }\right)={\inf }_{\mathbf{x}}{\sup }_{\mathbf{\lambda }⪰0}\mathcal{L}(\mathbf{x},\mathbf{\lambda })=p^{\star }$（对于凸问题往往具有强对偶性，其强对偶性的充分条件：Slater条件）

对于强对偶问题，其原最优解与对偶最优解之间存在一个重要关系式：

$$g\left({\mathbf{\lambda }}^{\star },{\mathbf{\nu }}^{\star }\right)=\mathcal{L}\left({\mathbf{x}}^{\star },{\mathbf{\lambda }}^{\star },{\mathbf{\nu }}^{\star }\right)=f_0\left({\mathbf{x}}^{\star }\right)$$

与傅里叶变换相比，因为存在$d^{\star }⩽p^{\star }$，原问题与对偶问题更多地表现为“垂直”方向上的等价，如下：

• 原始问题
  p ⋆ = min ⁡ { f 0 ( x ) ∣ f i ( x ) ⩽ 0 , h j ( x ) = 0 , i = 1 , … , m , j = 1 , … , p , x ∈ D } ⩾ d ⋆ p^{\star}=\min \left\{f_0(\mathbf{x}) \mid f_i(\mathbf{x}) \leqslant 0, h_j(\mathbf{x})=0, i=1, \ldots, m, j=1, \ldots, p, \mathbf{x} \in \mathcal{D}\right\} \geqslant d^{\star} p⋆=min{f0​(x)∣fi​(x)⩽0,hj​(x)=0,i=1,…,m,j=1,…,p,x∈D}⩾d⋆
  ($\mathcal{D}$ 是原始问题定义域)
• 对偶问题
  d ⋆ = max ⁡ { g ( λ , ν ) = inf ⁡ x ∈ D L ( x , λ , ν ) > − ∞ ∣ λ ⪰ 0 , λ ∈ R m , ν ∈ R p } ⩽ p ⋆ d^{\star}=\max \left\{g(\boldsymbol{\lambda}, \boldsymbol{\nu})=\inf _{\mathbf{x} \in \mathcal{D}} \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda}, \boldsymbol{\nu})>-\infty \mid \boldsymbol{\lambda} \succeq \mathbf{0}, \boldsymbol{\lambda} \in \mathbb{R}^m, \boldsymbol{\nu} \in \mathbb{R}^p\right\} \leqslant p^{\star} d⋆=max{g(λ,ν)=infx∈D​L(x,λ,ν)>−∞∣λ⪰0,λ∈Rm,ν∈Rp}⩽p⋆
  ($\mathcal{L}(\mathbf{x},\mathbf{\lambda },\mathbf{\nu })=f_0(\mathbf{x})+{\sum }_{i=1}{\lambda }_i{f}_i(\mathbf{x})+{\sum }_{i=1}{\nu }_i{h}_i(\mathbf{x})$)

无论原问题是否为凸，其对偶问题一定为凸；并且当原问题为凸且$f_0(\mathbf{x})$是闭的，所有$f_i(\mathbf{x})$都是非光滑或可谓的，则该问题的双对偶就是原问题本身

由强对偶性可以得到的几个重要结论：

• （最大最小不等式）对于任意的$f:{\mathbb{R}}^n\times {\mathbb{R}}^m,W\subseteq {\mathbb{R}}^n$ 和 $Z\subseteq {\mathbb{R}}^m$，有：
  $$\underset{\mathbf{z}\in Z}{\sup }\underset{\mathbf{w}\in W}{\inf }f(\mathbf{w},\mathbf{z})⩽\underset{\mathbf{w}\in W}{\inf }\underset{\mathbf{z}\in Z}{\sup }f(\mathbf{w},\mathbf{z})$$
  若$f$是某个具有零对偶间隙的优化问题的Lagrange函数，则上述等号成立。
• （互补松弛条件）：令${\mathbf{x}}^{\star }$ 和 $\left({\mathbf{\lambda }}^{\star },{\nu }^{\star }\right)$分别是原问题和其对偶问题的最优解，则$f_i\left({\mathbf{x}}^{\star }\right)⩽0,i=1,\dots ,m,h_j\left({\mathbf{x}}^{\star }\right)=0,j=1,\dots ,p$, 且 ${\mathbf{\lambda }}^{\star }⪰0_m$ 。当强对偶成立时，一定满足：
  $${\lambda }_i^{\star }{f}_i\left({\mathbf{x}}^{\star }\right)=0,i=1,\dots ,m$$

Karush-Kuhn-Tucker(KKT)条件

假设$f_0,f_1,\dots ,f_m,h_1,\dots ,h_p$可微，则优化问题（不一定为凸）的原最优解${\mathbf{x}}^{\star }$和对偶问题最优解$\left({\lambda }^{\star },{\nu }^{\star }\right)$所对应的KKT条件如下：
$$\begin{array}{rl}\nabla f_0\left({\mathbf{x}}^{\star }\right)+\sum _{i=1}^m{\lambda }_i^{\star }\nabla f_i\left({\mathbf{x}}^{\star }\right)+\sum _{i=1}^p{\nu }_i^{\star }\nabla h_i\left({\mathbf{x}}^{\star }\right)& =0\\ f_i\left({\mathbf{x}}^{\star }\right)& ⩽0,i=1,\dots ,m\\ h_i\left({\mathbf{x}}^{\star }\right)& =0,i=1,\dots ,p\\ {\lambda }_i^{\star }& ⩾0,i=1,\dots ,m\\ {\lambda }_i^{\star }{f}_i\left({\mathbf{x}}^{\star }\right)& =0,i=1,\dots ,m\end{array}$$

KKT条件在求解优化问题中的作用：

• 对于具有强对偶性的问题：KKT条件是最优性的必要条件
• 对于不具有强对偶性的问题：在适当假设下，KKT条件是局部最优的必要条件
• 对于具有强对偶性的图问题：KKT条件是最优性的虫咬条件。即：当且仅当KKT条件成立时，${\mathbf{x}}^{\star }$ 和 $\left({\lambda }^{\star },{\nu }^{\star }\right)$分别为原最优和对偶最优。

注：如果目标函数和所有约束都是实值函数，而未知变量$\mathbf{x}$是复数，那么KKT条件中，此时的梯度定义为·${\nabla }_{\mathbf{x}}\mathcal{L}=2{\nabla }_{{\mathbf{x}}^{\ast }}\mathcal{L}$

Lagrange的对偶优化

KKT条件是直接求解凸优化问题的主要方法，当凸问题KKT条件过于复杂而不能给出解析解时，可以通过利用对偶分解，而找到原问题的和对偶问题的最优解，该方法交替更新原变量和对偶变量直到收敛。

对于凸问题，其目标函数和所有约束条件均可可微并满足强对偶性时，如果${\mathbf{x}}^{\star }$是原可行解，则
$$\left({\mathbf{x}}^{\star },{\mathbf{\lambda }}^{\star },{\mathbf{\nu }}^{\star }\right)=\arg \left\{\underset{\mathbf{\lambda }⪰0,\mathbf{\nu }}{\max }\underset{\mathbf{x}\in \mathcal{D}}{\min }\mathcal{L}(\mathbf{x},\mathbf{\lambda },\mathbf{\nu })\right\}$$
是一个原-对偶最优解。

• 该式子为求解原问题的对偶分解，或对偶优化方法。对于给定的$(\mathbf{\lambda }⪰0,\mathbf{\nu })$，式中内层最小化是关于$\mathbf{x}$的凸函数，外层最大化是关于$(\lambda ,\nu )$的凹函数。但，问题的规模可能会变得更大，这是在寻找原-对偶最优解需要着重考虑的一个问题。

ADMM优化

对偶优化是无线通信和网络设计分布式和协作式算法的一种有效算法，交替方向乘子法（ADMM）是一种有名的分布式凸优化技术。

考虑如下凸优化问题：
$$\begin{array}{rl}\underset{\mathbf{x}\in {\mathbb{R}}^n,\mathbf{z}\in {\mathbb{R}}^m}{\min }& f_1(\mathbf{x})+f_2(\mathbf{z})\\ \text{ s.t. }& \mathbf{x}\in {\mathcal{S}}_1,\mathbf{z}\in {\mathcal{S}}_2\\ & \mathbf{z}=\mathbf{Ax}\end{array}$$

$f_1:{\mathbb{R}}^n\mapsto \mathbb{R}$ 和 $f_2:{\mathbb{R}}^m\mapsto \mathbb{R}$是凸函数，$\mathbf{A}$是$m\times n$矩阵，${\mathcal{S}}_1\subset {\mathbb{R}}^n$ 和 ${\mathcal{S}}_2\subset {\mathbb{R}}^m$是非空凸集。

ADMM考虑如下的惩罚增广问题：
$$\begin{array}{rl}\underset{\mathbf{x}\in {\mathbb{R}}^n,\mathbf{z}\in {\mathbb{R}}^m}{\min }& f_1(\mathbf{x})+f_2(\mathbf{z})+\frac{c}{2}\Vert \mathbf{Ax}-\mathbf{z}{\Vert }_2^2\\ \text{ s.t. }& \mathbf{x}\in {\mathcal{S}}_1,\mathbf{z}\in {\mathcal{S}}_2\\ & \mathbf{z}=\mathbf{Ax}\end{array}$$

其对偶问题为：
$$\underset{\mathbf{\nu }\in {\mathbb{R}}^m}{\max }g(\mathbf{\nu })$$

对偶函数定义为：$$g(\mathbf{\nu })=\underset{\mathbf{x}\in {\mathcal{S}}_1,\mathbf{z}\in {\mathcal{S}}_2}{\min }\left\{f_1(\mathbf{x})+f_2(\mathbf{z})+\frac{c}{2}\Vert \mathbf{Ax}-\mathbf{z}{\Vert }_2^2+{\mathbf{\nu }}^{\mathrm{T}}(\mathbf{Ax}-\mathbf{z})\right\}$$

其中$\mathbf{\nu }$是惩罚增广问题等式约束的对偶变量，当$\mathbf{\nu }$固定时，对偶函数中的优化问题时关于$(\mathbf{x},\mathbf{z})$的凸问题，对偶函数$g(\mathbf{\nu })$非光滑，可以通过投影次梯度方法更新对偶变量$\mathbf{\nu }$。在标准的对偶优化问题中，通常是先更新$(\mathbf{x},\mathbf{z})$然后更新对偶变量$\mathbf{\nu }$。

对于ADMM，在第$(q+1)$次迭代时，求解一下两个图的子问题，以更新$(\mathbf{x},\mathbf{z})$：
$$\begin{array}{rl}& \mathbf{z}(q+1)=\arg \underset{\mathbf{z}\in {\mathcal{S}}_2}{\min }\left\{f_2(\mathbf{z})-\mathbf{\nu }(q{)}^{\mathrm{T}}\mathbf{z}+\frac{c}{2}\Vert \mathbf{Ax}(q)-\mathbf{z}{\Vert }_2^2\right\}\\ & \mathbf{x}(q+1)=\arg \underset{\mathbf{x}\in {\mathcal{S}}_1}{\min }\left\{f_1(\mathbf{x})+\mathbf{\nu }(q{)}^{\mathrm{T}}\mathbf{Ax}+\frac{c}{2}\Vert \mathbf{Ax}-\mathbf{z}(q+1){\Vert }_2^2\right\}\end{array}$$
总结如下：

• 对于任意大于零的惩罚参数$c$，ADMM一定可以保证收敛到一个最优解，收敛速率与$c$有关，但目前没有理论可以指导$c$的选择，从而使得收敛速度加快。