凸优化学习笔记 6：共轭函数

个人博客地址 Glooow，欢迎光临~~~

1. 共轭函数

1.1 定义

一个函数 $f$ 的共轭函数(conjugate function) 定义为
$$f^{\ast }(y)=\underset{x\in \text{dom}f}{\sup }(y^{T}x-f(x))$$

$f^{\ast }$ 是凸函数，证明也很简单，可以看成是一系列关于 $y$ 的凸函数取上确界。

Remarks：实际上共轭函数与前面讲的一系列支撑超平面包围 $f$ 很类似，通过 $y$ 取不同的值，也就获得了不同斜率的支撑超平面，最后把 $f$ 包围起来，就好像是得到了 $\text{epi }f$ 的一个闭包，如下图所示

1.2 性质

关于共轭函数有以下性质

1. 若 $f$ 为凸的且是闭的($\text{epi }f$ 为闭集)，则 $f^{\ast \ast }=f$ (可以联系上面提到一系列支撑超平面)
2. (Fenchel’s inequality) $f(x)+f^{\ast }(y)\ge x^{T}y$，这可以类比均值不等式
3. (Legendre transform)如果 $f\in C^1$，且为凸的、闭的，设 x ∗ = arg ⁡ max ⁡ { y T x − f