fenchel-rockafellar duality

Legendre transform

设区$I\subset \mathbb{R}$,$f:I\to \overline{\mathbb{R}}$是一个凸函数，则$f$的Legendre transform为$f^{\ast }:I^{\ast }\to \mathbb{R}$
$$f^{\ast }\left(x^{\ast }\right)=\underset{x\in I}{\sup }\left(x^{\ast }x-f\left(x\right)\right),x^{\ast }\in I^{\ast }$$
其中 I ∗ = { x ∗ ∈ R : f ∗ ( x ∗ ) < ∞ } I^* = \left\{x^*\in \mathbb{R}:f^*\left(x^*\right)<\infty\right\} I∗={x∗∈R:f∗(x∗)<∞}

类似地

定义在凸集$\mathbf{x}\subset {\mathbb{R}}^n$的凸函数$f:X\to \mathbb{R}$,则$f^{\ast }:X^{\ast }\to \mathbb{R}$
$$f^{\ast }\left({\mathbf{x}}^{\ast }\right)=\underset{\mathbf{x}\in X}{\sup }\left(⟨{\mathbf{x}}^{\ast },\mathbf{x}⟩-f\left(x\right)\right),{\mathbf{x}}^{\ast }\in X^{\ast }$$
其中 X ∗ = { x ∗ ∈ R n : sup ⁡ x ∈ X ( ⟨ x ∗ , x ⟩ − f ( x ) ) < ∞ } X^*=\left\{\mathbf{x}^* \in \mathbb{R}^n: \sup_{\mathbf{x} \in X}\left(\left\langle \mathbf{x}^*, \mathbf{x}\right\rangle-f(\mathbf{x})\right)<\infty\right\} X∗={x∗∈Rn:supx∈X​(⟨x∗,x⟩−f(x))<∞}

Fenchel’s duality theorem

设$f$是定义在${\mathbb{R}}^n$上的适当凸函数，$g$是定义在${\mathbb{R}}^n$上的 适当凹函数,则
$$\underset{\mathbf{x}}{\inf }\left(f\left(\mathbf{x}\right)-g\left(\mathbf{x}\right)\right)=\underset{\mathbf{p}}{\sup }\left(g^{\ast }\left(\mathbf{p}\right)-f^{\ast }\left(\mathbf{p}\right)\right)$$
其中
f ∗ ( x ∗ ) : = sup ⁡ { ⟨ x ∗ , x ⟩ − f ( x ) ∣ x ∈ R n } g ∗ ( x ∗ ) : = inf ⁡ { ⟨ x ∗ , x ⟩ − g ( x ) ∣ x ∈ R n } f^*\left(\mathbf{x}^*\right) :=\sup\left\{\left\langle \mathbf{x}^*,\mathbf{x}\right\rangle - f\left(\mathbf{x}\right)|\mathbf{x}\in\mathbb{R}^n\right\}\\ g^*\left(\mathbf{x}^*\right) :=\inf\left\{\left\langle \mathbf{x}^*,\mathbf{x}\right\rangle - g\left(\mathbf{x}\right)|\mathbf{x}\in\mathbb{R}^n\right\}\\ f∗(x∗):=sup{⟨x∗,x⟩−f(x)∣x∈Rn}g∗(x∗):=inf{⟨x∗,x⟩−g(x)∣x∈Rn}

证明：
原问题可以写为
$$\begin{array}{rl}\underset{\mathbf{x},\mathbf{y}}{\inf }& \left(f\left(\mathbf{x}\right)-g\left(\mathbf{y}\right)\right)\\ \text{s.t.}& \mathbf{y}=\mathbf{x}\end{array}$$
于是
$$L\left(\mathbf{x},\mathbf{y},\lambda \right)=f\left(\mathbf{x}\right)-g\left(\mathbf{y}\right)+{\lambda }^T\left(\mathbf{y}-\mathbf{x}\right)$$
对偶
$$\begin{array}{rl}\underset{\mathbf{x},\mathbf{y}}{\inf }L& =-\underset{\mathbf{x}}{\sup }\left({\lambda }^T\mathbf{x}-f\left(\mathbf{x}\right)\right)+\underset{\mathbf{y}}{\inf }\left({\lambda }^T\mathbf{y}-g\left(\mathbf{y}\right)\right)\\ & =g^{\ast }\left(\lambda \right)-f^{\ast }\left(\lambda \right)\end{array}$$
因此对偶问题就是
$$\underset{\mathbf{p}}{\sup }\left(g^{\ast }\left(\mathbf{p}\right)-f^{\ast }\left(\mathbf{p}\right)\right)$$

参考
https://en.wikipedia.org/wiki/Fenchel%27s_duality_theorem