优化问题-Lagrange函数和共轭函数

利用对偶函数可以从对偶函数最大化的角度来分析原始问题的最小化，这类似于信号分析中，通过信号的频域特性来分析其时域特性。相当于对优化问题另一个维度的解释， 对偶在理解和求解优化问题中起着关键的作用

Lagrange对偶函数

标准优化问题（不一定为凸）形式：
$$\begin{array}{rl}{p}^{\star }=\min & f_0(\mathbf{x})\\ \text{ s.t. }& f_i(\mathbf{x})⩽0,i=1,\dots ,m\\ & h_i(\mathbf{x})=0,i=1,\dots ,p\end{array}$$
其中，定义域为：$\mathcal{D}=\left({\bigcap }_{i=0}^m\mathrm{dom}{f}_i\right)\cap \left({\bigcap }_{i=1}^p\mathrm{dom}{h}_i\right)$。

该问题称为原问题，未知变量称作原始变量。

Lagrange函数的定义为：
$$\mathcal{L}(\mathbf{x},\mathbf{\lambda },\mathbf{\nu })=f_0(\mathbf{x})+\sum _{i=1}^m{\lambda }_i{f}_i(\mathbf{x})+\sum _{i=1}^p{\nu }_i{h}_i(\mathbf{x})$$
其定义域为$\mathrm{dom}\mathcal{L}=\mathcal{D}\times {\mathbb{R}}^m\times {\mathbb{R}}^p$。$\mathbf{\lambda }={\left[{\lambda }_1,\dots ,{\lambda }_m\right]}^{\mathrm{T}}$和$\mathbf{\nu }={\left[{\nu }_1,\dots ,{\nu }_p\right]}^{\mathrm{T}}$称作对偶变量或者Lagrange乘子。

Lagrange对偶函数（或对偶函数）定义为：
$$g(\mathbf{\lambda },\mathbf{\nu })\triangleq \underset{\mathbf{x}\in \mathcal{D}}{\inf }\mathcal{L}(\mathbf{x},\mathbf{\lambda },\mathbf{\nu })$$

注：不难发现Lagrange函数时凹函数。因为对偶函数是关于$(\mathbf{\lambda },\mathbf{\nu })$的放射函数（凹函数）的逐点下确界，因此为凹。（利用上镜图epigraph可以证明。）

其定义域为： dom ⁡ g = { ( λ , ν ) ∣ g ( λ , ν ) > − ∞ } \operatorname{dom} g=\{(\boldsymbol{\lambda}, \boldsymbol{\nu}) \mid g(\boldsymbol{\lambda}, \boldsymbol{\nu})>-\infty\} domg={(λ,ν)∣g(λ,ν)>−∞}

• 对偶函数和原始问题的关系：
  对于任意的$\mathbf{\lambda }⪰0$和$\mathbf{\nu }\in {\mathbb{R}}^p$，有：

$$g(\mathbf{\lambda },\mathbf{\nu })⩽p^{\star }$$

证明：假设$\tilde{\mathbf{x}}$是原问题的一个可行解，择优：

$$\mathcal{L}(\tilde{\mathbf{x}},\mathbf{\lambda },\nu )=f_0(\tilde{\mathbf{x}})+\sum _{i=1}^m{\lambda }_i{f}_i(\tilde{\mathbf{x}})+\sum _{i=1}^p{\nu }_i{h}_i(\tilde{\mathbf{x}})⩽f_0(\tilde{\mathbf{x}})$$
由此可得：
$$p^{\star }⩾f_0(\tilde{\mathbf{x}})⩾\mathcal{L}(\tilde{\mathbf{x}},\mathbf{\lambda },\mathbf{\nu })⩾\underset{\mathbf{x}\in \mathcal{D}}{\inf }\mathcal{L}(\mathbf{x},\mathbf{\lambda },\mathbf{\nu })=g(\mathbf{\lambda },\mathbf{\nu })$$

共轭函数

函数$f:{\mathbb{R}}^n\to \mathbb{R}$的共轭函数记作$f^{\ast }:{\mathbb{R}}^n\to \mathbb{R}$，定义为：

$$f^{\ast }(\mathbf{y})=\underset{\mathbf{x}\in \mathrm{dom}f}{\sup }\left({\mathbf{y}}^{\mathrm{T}}\mathbf{x}-f(\mathbf{x})\right)$$

其定义域为： dom ⁡ f ∗ = { y ∣ f ∗ ( y ) < ∞ } \operatorname{dom} f^*=\left\{\mathbf{y} \mid f^*(\mathbf{y})<\infty\right\} domf∗={y∣f∗(y)<∞}

• 不难看出，无论$f(\mathbf{x})$的凹凸性，$f^{\ast }(\mathbf{y})$是一个凸函数（仿射函数的驻点最大化是凸函数）。

关于共轭函数一些重要的性质：

• 如果$f(\mathbf{x})$是可微的，则$\mathbf{y}={\nabla }_{\mathbf{x}}f\left({\mathbf{x}}^{\ast }\right)\in \mathrm{dom}{f}^{\ast }$是获得$f^{\ast }(\mathbf{y})$的必要条件。（因为共轭函数的最优值必然满足${\nabla }_{\mathbf{x}}\left({\mathbf{y}}^{\mathrm{T}}\mathbf{x}-f(\mathbf{x})\right)=0$）。
• 如果$f(\mathbf{x})$是可微且凸的，则$\mathbf{y}={\nabla }_{\mathbf{x}}f\left({\mathbf{x}}^{\star }\right)$变为了充分条件，此时有：$f^{\ast }(\mathbf{y})={\left({\mathbf{x}}^{\star }\right)}^{\mathrm{T}}{\nabla }_{\mathbf{x}}f\left({\mathbf{x}}^{\star }\right)-f\left({\mathbf{x}}^{\star }\right)$，其中${\mathrm{x}}^{\star }$由$\mathbf{y}={\nabla }_{\mathbf{x}}f\left({\mathbf{x}}^{\star }\right)$得到。（成立的原因是，共轭函数的二阶导恰好半正定，因此一阶条件满足的点必是其最优解）。

下面给出一些简单的凸函数的共轭函数：

• 仿射函数： f ( x ) = a x + b ↔ f ∗ ( y ) = − b , y ∈ { a } f(x)=a x+b \leftrightarrow f^*(y)=-b, y \in\{a\} f(x)=ax+b↔f∗(y)=−b,y∈{a}
• 负对数函数：$f(x)=-\log x\leftrightarrow f^{\ast }(y)=-1-\log (-y)$
• 负熵函数：$f(x)=x\log x\leftrightarrow f^{\ast }(y)=y{\mathrm{e}}^{y-1}-{\mathrm{e}}^{y-1}(y-1)={\mathrm{e}}^{y-1}$
• 严格图二次函数：$f(\mathbf{x})=\frac{1}{2}{\mathbf{x}}^{\mathrm{T}}\mathbf{Q}\mathbf{x}\leftrightarrow f^{\ast }(\mathbf{y})=\frac{1}{2}{\mathbf{y}}^{\mathrm{T}}{\mathbf{Q}}^{-1}\mathbf{y}$

一些重要的推论

• 如果$f$是闭凸函数，则有$f^{\ast \ast }=f$。

其证明也很容易，假定$f$是可微的，令$\mathbf{y}=\nabla f\left({\mathbf{x}}_0\right)\in \mathrm{dom}{f}^{\ast }$，则$f^{\ast }(\mathbf{y})$的共轭为：
$$\begin{array}{rl}{f}^{\ast \ast }(\mathbf{x})& =\underset{\mathbf{y}\in \mathrm{dom}{f}^{\ast }}{\sup }\left\{{\mathbf{x}}^{\mathrm{T}}\mathbf{y}-f^{\ast }(\mathbf{y})\right\}\\ & =\underset{{\mathbf{x}}_0\in \mathrm{dom}f}{\sup }\left\{{\mathbf{x}}^{\mathrm{T}}\nabla f\left({\mathbf{x}}_0\right)-\nabla f{\left({\mathbf{x}}_0\right)}^{\mathrm{T}}{\mathbf{x}}_0+f\left({\mathbf{x}}_0\right)\right\}\\ & =\underset{{\mathbf{x}}_0\in \mathrm{dom}}{\sup }\left\{f\left({\mathbf{x}}_0\right)+\nabla f{\left({\mathbf{x}}_0\right)}^{\mathrm{T}}\left(\mathbf{x}-{\mathbf{x}}_0\right)\right\}\\ & =f(\mathbf{x})\end{array}$$

• 即时$f$是非凸的，其共轭依然是凸函数，并且此时有$f^{\ast \ast }=g_f^{\ast \ast }=g_f$（$g_f$是函数可微非凸函数$f$的凸包络）

Lagrange对偶函数和共轭函数的关系

考虑如下仿射约束的优化问题：
$$\begin{array}{rl}& \min f_0(\mathbf{x})\\ & \text{ s.t. }\mathbf{x}=0\end{array}$$
其Lagrange函数为：$\mathcal{L}(\mathbf{x},\mathbf{\nu })=f_0(\mathbf{x})+{\mathbf{\nu }}^{\mathrm{T}}\mathbf{x}$，其对应的对偶函数为：
$$\begin{array}{rl}g(\mathbf{\nu })& =\underset{\mathbf{x}}{\inf }\left\{f_0(\mathbf{x})+{\mathbf{\nu }}^{\mathrm{T}}\mathbf{x}\right\}\\ & =-\underset{\mathbf{x}}{\sup }\left\{(-\mathbf{\nu }{)}^{\mathrm{T}}\mathbf{x}-f_0(\mathbf{x})\right\}=-f_0^{\ast }(-\mathbf{\nu })\end{array}$$
其中，$\mathrm{dom}g=-\mathrm{dom}{f}_0^{\ast }$。由于$f_0^{\ast }$是凸的，所以$g(\mathbf{\nu })$是凹的。

考虑更一般的优化问题形式：
$$\begin{array}{ll}\min & f_0(\mathbf{x})\\ \text{ s.t. }& \mathbf{A}\mathbf{x}⪯\mathbf{b},\mathbf{C}\mathbf{x}=\mathbf{d}\end{array}$$

此时有：
$$\begin{array}{rl}g(\mathbf{\lambda },\mathbf{\nu })& =\underset{\mathbf{x}}{\inf }\left\{f_0(\mathbf{x})+{\mathbf{\lambda }}^{\mathrm{T}}(\mathbf{A}\mathbf{x}-\mathbf{b})+{\mathbf{\nu }}^{\mathrm{T}}(\mathbf{C}\mathbf{x}-\mathbf{d})\right\}\\ & =-{\mathbf{b}}^{\mathrm{T}}\mathbf{\lambda }-{\mathbf{d}}^{\mathrm{T}}\mathbf{\nu }+\underset{\mathbf{x}}{\inf }\left\{f_0(\mathbf{x})+{\left({\mathbf{A}}^{\mathrm{T}}\mathbf{\lambda }+{\mathbf{C}}^{\mathrm{T}}\mathbf{\nu }\right)}^{\mathrm{T}}\mathbf{x}\right\}\\ & =-{\mathbf{b}}^{\mathrm{T}}\mathbf{\lambda }-{\mathbf{d}}^{\mathrm{T}}\mathbf{\nu }-\underset{\mathbf{x}}{\sup }\left\{-{\left({\mathbf{A}}^{\mathrm{T}}\mathbf{\lambda }+{\mathbf{C}}^{\mathrm{T}}\mathbf{\nu }\right)}^{\mathrm{T}}\mathbf{x}-f_0(\mathbf{x})\right\}\\ & =-{\mathbf{b}}^{\mathrm{T}}\mathbf{\lambda }-{\mathbf{d}}^{\mathrm{T}}\mathbf{\nu }-f_0^{\ast }\left(-{\mathbf{A}}^{\mathrm{T}}\mathbf{\lambda }-{\mathbf{C}}^{\mathrm{T}}\mathbf{\nu }\right)\end{array}$$

其中，$\mathrm{dom}g=\left\{(\mathbf{\lambda },\mathbf{\nu })\mid -\left({\mathbf{A}}^{\mathrm{T}}\mathbf{\lambda }+{\mathbf{C}}^{\mathrm{T}}\mathbf{\nu }\right)\in \mathrm{dom}{f}_0^{\ast }\right\}$。

例如，最大熵问题：
$$\begin{array}{rl}& \max \left\{\sum _{i=1}^n{x}_i\log \frac{1}{x_i}\right\}\equiv \min \left\{f_0(\mathbf{x})\triangleq \sum _{i=1}^n{x}_i\log x_i\right\}\\ & \text{ s.t. }\mathbf{x}\in {\mathbb{R}}_{+}^n,1_n^{\mathrm{T}}\mathbf{x}=1\text{ s.t. }\mathbf{x}\in {\mathbb{R}}_{+}^n,1_n^{\mathrm{T}}\mathbf{x}=1\end{array}$$

由上面常见凸函数的共轭函数有：
f 0 ∗ ( y ) = sup ⁡ x ∈ R + n { y T x − f 0 ( x ) } = ∑ i = 1 n sup ⁡ x i ∈ R + { y i x i − x i log ⁡ x i } = ∑ i = 1 n e y i − 1 \begin{aligned} f_0^*(\mathbf{y}) &=\sup _{\mathbf{x} \in \mathbb{R}_{+}^n}\left\{\mathbf{y}^{\mathrm{T}} \mathbf{x}-f_0(\mathbf{x})\right\} \\ &=\sum_{i=1}^n \sup _{x_i \in \mathbb{R}_{+}}\left\{y_i x_i-x_i \log x_i\right\}=\sum_{i=1}^n \mathrm{e}^{y_i-1} \end{aligned} f0∗​(y)​=x∈R+n​sup​{yTx−f0​(x)}=i=1∑n​xi​∈R+​sup​{yi​xi​−xi​logxi​}=i=1∑n​eyi​−1​
其中，$\mathrm{dom}{f}_0^{\ast }={\mathbb{R}}^n$。令：$\mathbf{A}=-{\mathbf{I}}_n,\mathbf{b}=0,\mathbf{C}=1_n^{\mathrm{T}}$，则有：

$$\begin{array}{rl}g(\mathbf{\lambda },\nu )& =-\nu -f_0^{\ast }\left(\mathbf{\lambda }-1_n\nu \right)\\ & =-\nu -\sum _{i=1}^n{\mathrm{e}}^{{\lambda }_i-\nu -1}=-\nu -{\mathrm{e}}^{-\nu -1}\sum _{i=1}^n{\mathrm{e}}^{{\lambda }_i}\end{array}$$

总结：优化问题（不一定为凸）的Lagrange对偶函数可以很容易地通过共轭函数得到。