对偶的应用及拓展（Duality Uses and Correspondences）

总目录

一、 凸优化基础（Convex Optimization basics）

1. 凸优化基础（Convex Optimization basics）

二、 一阶梯度方法（First-order methods）

1. 梯度下降（Gradient Descent）
2. 次梯度（Subgradients）
3. 近端梯度法（Proximal Gradient Descent）
4. 随机梯度下降（Stochastic gradient descent）

三、对偶

1. 线性规划中的对偶（Duality in linear programs）
2. 凸优化中的对偶（Duality in General Programs）
3. KKT条件（Karush-Kuhn-Tucker Conditions）
4. 对偶的应用及拓展（Duality Uses and Correspondences）
5. 对偶方法（Dual Methods）
6. 交替方向乘子法（Alternating Direction Method of Multipliers）

Introduction

在前几节中我们讨论了对偶。在强对偶条件下，给定对偶问题的最优解$u^{\ast },v^{\ast }$，任何使得拉普拉斯方程$L(x,u^{\ast },v^{\ast })$最小化的$x$都是原问题的最优解。特别是当原问题的解唯一时，其一定是最优解$x^{\ast }$。这使得我们可以借助于对偶来求解原问题的解。本节我们主要讨论跟对偶相关的一些知识及应用。

对偶范数

令$\Vert x\Vert$为一个范数（norm）， 定义其对偶范数（dual norm）$\Vert x{\Vert }_{\ast }$为
$$\Vert x{\Vert }_{\ast }=\underset{\Vert z\Vert \le 1}{\max }{z}^{T}x$$

那么根据对偶关系可以得到$\Vert z^{T}x\Vert \le \Vert z\Vert \Vert x{\Vert }_{\ast }$。
例如，

• $l_p$ norm: $\Vert x{\Vert }_p=({\sum }_{i=1}^m|x_i{|}^p{)}^{1/p}$, for $p\ge 1$
• Trace norm: $\Vert X{\Vert }_{tr}={\sum }_{i=1}^r{\sigma }_i(X)$ (迹范数定义为矩阵所有特征值之和)

则其对应的对偶范数为

• $l_p$ norm dual: $(\Vert x{\Vert }_p{)}_{\ast }=\Vert x{\Vert }_q$，其中，$1/p+1/q=1$
• Trace norm dual: $(\Vert X{\Vert }_{tr}{)}_{\ast }=\Vert X{\Vert }_{op}={\sigma }_1(X)$ 即矩阵最大的特征值

在强对偶下，对偶范数的对偶范数为其本身，即$\Vert x{\Vert }_{\ast \ast }=\Vert x\Vert$。

共轭函数

共轭函数的定义

给定一个函数$f:R^n\to R$，定义其共轭(conjugate)为$f^{\ast }:R^n\to R$，
$$f^{\ast }(y)=\underset{x}{\max }{y}^{T}x-f(x)$$

注意到$f^{\ast }$总是凸函数，因为其是凸函数（仿射函数）的最大值。如下图所示，$f^{\ast }(y)$表示最大化线性函数$y^{T}x$与函数$f(x)$的间隔。

对于可微函数$f$，共轭也被叫做勒让德变换（Legendre transform）。

共轭函数的性质

1. Fenchel不等式：对于任意$x,y$，
   $$f(x)+f^{\ast }(y)\ge x^{T}y$$

2. 共轭的共轭$f^{\ast \ast }$满足$f^{\ast \ast }\le f$。

3. 如果$f$是闭合的且是凸的，那么$f^{\ast \ast }=f$

4. 如果$f$是闭合的且是凸的，那么对于任意$x,y$，
   $$x\in \partial f^{\ast }(y)⟺y\in \partial f(x)⟺f(x)+f^{\ast }(y)=x^{T}y$$

5. 如果$f(u,v)=f_1(u)+f_2(v)$，那么
   $$f^{\ast }(w,z)=f_1^{\ast }(w)+f_2^{\ast }(z)$$

例子：

• 二次规划：$f(x)=\frac{1}{2}{x}^{T}Qx$，其中$Q\succ 0$。那么$y^{T}x-\frac{1}{2}{x}^{T}Qx$是严格凹的，其最大值在$y=Q^{-1}x$处取得，因此
  $$f^{\ast }(y)=\frac{1}{2}{y}^T{Q}^{-1}y$$
• 指示函数：如果$f(x)=I_C(x)$，那么其共轭为
  $$f^{\ast }(y)=I_c^{\ast }(x)=\underset{x\in C}{\max }{y}^{T}x$$也被称为集合$C$的支持函数（support function）。
• 范数：如果$f(x)=\Vert x\Vert$，那么其共轭为
  f ∗ ( y ) = I { z : ∥ z ∥ ∗ ≤ 1 } ( y ) f^*(y)=I_{\{z:\|z\|_*\leq 1\}}(y) f∗(y)=I{z:∥z∥∗​≤1}​(y) 其中$\Vert \cdot {\Vert }_{\ast }$是$\Vert \cdot \Vert$的对偶范数

共轭与对偶问题

共轭常出现在对偶问题的推导中。在最小化拉格朗日函数过程中，以
$$-f^{\ast }(u)=\underset{x}{\min }f(x)-u^{T}x$$ 形式出现。

如考虑优化问题
$$\underset{x}{\min }f(x)+g(x)$$

其等价于
$$\begin{array}{r}\underset{x,z}{\min }f(x)+g(z)\\ subjecttox=z\end{array}$$

拉格朗日对偶函数为
g ( u ) = min ⁡ x , z f ( x ) + g ( z ) + u T ( z − x ) = min ⁡ x , z f ( x ) − u T x + g ( z ) − ( − u ) T z = − max ⁡ x { u T x − f ( x ) } − max ⁡ z { ( − u ) T z − g ( z ) } = − f ∗ ( u ) − g ∗ ( − u ) \begin{aligned} g(u)=&\min_{x,z} f(x)+g(z)+u^T(z-x)\\ &=\min_{x,z}f(x)-u^Tx+g(z)-(-u)^Tz\\ &=-\max_x\{u^Tx-f(x)\}-\max_z\{(-u)^Tz-g(z)\}\\ &=-f^*(u)-g^*(-u) \end{aligned} g(u)=​x,zmin​f(x)+g(z)+uT(z−x)=x,zmin​f(x)−uTx+g(z)−(−u)Tz=−xmax​{uTx−f(x)}−zmax​{(−u)Tz−g(z)}=−f∗(u)−g∗(−u)​

因而对偶问题为
$$\underset{u}{\max }-f^{\ast }(u)-g^{\ast }(-u)$$

转移线性变换

对偶公式可以帮助我们在目标函数的不同部分之间转移线性变换（shifting linear transformations）。
考虑以下问题
$$\underset{x}{\min }f(x)+g(Ax)$$

其等价于
$$\begin{array}{r}\underset{x,z}{\min }f(x)+g(z)\\ subjecttoAx=z\end{array}$$
像前面一样，其对偶问题为
$$\underset{u}{\max }-f^{\ast }(A^{T}u)-g^{\ast }(-u)$$

对偶的技巧

常常我们把对偶转换为一个等价的问题，仍然称为对偶。在强对偶条件下，我们可以使用对偶问题（或经过变换的对偶问题）的解来求解原问题的解。

为了得到无约束问题的对偶形式，一般首先在原问题中加入一个虚拟的中间变量，从而引入等式约束。再通过拉格朗日方程得到对偶形式。通常这种变换并不是唯一的，不同的变换可能导致不同的对偶问题。