共轭函数介绍

1.共轭函数

  设函数$f:{\mathrm{R}}^n\to \mathrm{R}$，定义函数$f^{\ast }:{\mathrm{R}}^n\to \mathrm{R}$为$$f^{\ast }(y)=\underset{x\in \mathrm{d}\mathrm{o}\mathrm{m}}{\sup }(y^{\top }x-f(x))，$$此函数称为函数$f$的共轭函数。使上述上确界有限，即差值$y^{\top }x-f(x)$在$\mathrm{d}\mathrm{o}\mathrm{m}f$有上界的所有$y\in {\mathrm{R}}^n$构成共轭函数的定义域。

  如上图所示，函数$f:\mathrm{R}\to \mathrm{R}$以及某一$y\in \mathrm{R}$。共轭函数$f^{\ast }(y)$是线性函数$yx$和$f(x)$之间的最大差值，见红色虚线所示。如果$f$可微，在满足$f^{\prime }(x)=y$的点$x$处差值最大。显而易见，$f^{\ast }$是凸函数，这是因为它是一系列$y$的凸函数（实质上是仿射函数）的逐点上确界。无论$f$是否是凸函数，$f^{\ast }$都是凸函数（注意到这里当$f$是凸函数时，下标$x\in \mathrm{d}\mathrm{o}\mathrm{m}f$可以去掉，这里是因为根据之前关于扩展延伸的定义，对于$x\notin \mathrm{d}\mathrm{o}\mathrm{m}f,y^{\top }x-f(x)=-\infty$）

2.具体实例

2.1 凸函数的共轭函数

• 仿射函数 $f(x)=ax+b$：作为$x$的函数，当且仅当$y=a$，即为常数时，$yx-ax-b$有界。因此共轭函数$f^{\ast }$的定义域为单点集 { a } \{a\} {a}，且$f^{\ast }(a)=-b$。
• 负对数函数$f(x)=-\log x$：定义域为$\mathrm{d}\mathrm{o}\mathrm{m}f={\mathrm{R}}^{++}$。当$y\ge 0$时，函数$xy+\log x$无上界，当$y<0$时，在$x=-1/y$处函数达到最大值。因此，定义域 d o m f ∗ = { y ∣ y < 0 } = − R + + \mathrm{dom}f^{*}=\{y|y<0\}=-\mathrm{R}_{++} domf∗={y∣y<0}=−R++​，共轭函数为$f^{\ast }(y)=-\log (-y)-1(y<0)$。
• 指数函数$f(x)=e^x$：当$y<0$时，函数$xy-e^x$无界。当$y>0$时，函数$xy-e^x$在$x=\log y$处达到最大值。因此，$f^{\ast }(y)=y\log y-y$。当$y=0$s时，$f^{\ast }(y)=\underset{x}{\sup }-e^x=0$。综合起来，$\mathrm{d}\mathrm{o}\mathrm{m}{f}^{\ast }={\mathrm{R}}_{+}$，$f^{\ast }(y)=y\log y-y$（其中规定$0\log 0=0$）。
• 负熵函数$f(x)=xlogx$：定义域为$\mathrm{d}\mathrm{o}\mathrm{m}f={\mathrm{R}}_{+}$。对所有$y$，函数$xy-x\log x$关于$x$在${\mathrm{R}}_{+}$上有界，因此$\mathrm{d}\mathrm{o}\mathrm{m}{f}^{\ast }=\mathrm{R}$。在$x=e^{y-1}$处，函数达到最大值。因此$f^{\ast }(y)=e^{y-1}$。
• 反函数$f(x)=1/x$：当$y>0$时，$yx-1/x$无上界。当$y=0$时，函数有上确界0；当$y<0$时，在$x=(-y{)}^{-1/2}$处达到上确界。因此，$f^{\ast }(y)=-2(-y{)}^{1/2}$且$\mathrm{d}\mathrm{o}\mathrm{m}{f}^{\ast }=-{\mathrm{R}}_{+}$。

2.2 严格凸的二次函数

  考虑函数$f(x)=\frac{1}{2}{x}^{\top }Qx,Q\in S_{++}^n$。对所有的$y$，$x$的函数$y^{\top }x-\frac{1}{2}{x}^{\top }Qx$都有上界并在$x=Q^{-1}y$处达到上确界，因此$$f^{\ast }(y)=\frac{1}{2}{y}^{\top }{Q}^{-1}y.$$

2.3 对数行列式

  考虑${\mathrm{S}}_{++}^n$上定义的函数$f(X)=\log \det X^{-1}$。其共轭函数定义为$$f^{\ast }(Y)=\underset{X\succ 0}{\sup }(\mathrm{t}\mathrm{r}(YX)+\log \det X),$$其中，$\mathrm{t}\mathrm{r}(YX)$是${\mathrm{S}}^n$上的标准内积。首先说明当只有$Y\prec 0$时，$\mathrm{t}\mathrm{r}(YX)+\log \det X$才有上界。如果$Y\nprec 0$，则有$Y$有特征向量$v$，$\Vert v{\Vert }_2=1$且对应的特征值$\lambda \ge 0$。令$X=I+tv{v}^{\top }$，则有$$\mathrm{t}\mathrm{r}(YX)+\log \det X=\mathrm{t}\mathrm{r}Y+t\lambda +\log \det (I+tv{v}^{\top })=\mathrm{t}\mathrm{r}Y+t\lambda +\log (1+t),$$当$t\to \infty$时，上式无界。接下来考虑$Y\prec 0$的情形，为了求最大值，令对$X$的偏导为零，则$${\nabla }_X(\mathrm{t}\mathrm{r}(YX)+\log \det X)=Y+X^{-1}=0$$得$X=-Y^{-1}$（$X$是正定的）。因此$$f^{\ast }(Y)=\log \det (-Y{)}^{-1}-n,$$其定义域为$\mathrm{d}\mathrm{o}\mathrm{m}{f}^{\ast }=-{\mathrm{S}}_{++}^n$。

2.4 示性函数

 设$I_S$是某个集合$S\subseteq {\mathrm{R}}^n$（不一定是凸集）的示性函数，即当$x$在$\mathrm{d}\mathrm{o}\mathrm{m}{I}_S=S$内时，$I_S(x)=0$。示性函数的共轭函数为$$I_S^{\ast }(y)=\underset{x\in S}{\sup }{y}^{\top }x,$$它是集合$S$的支撑函数。

2.5 指数和的对数函数

  为了得到指数和的对数函数$f(x)=\log (\sum _{i=1}^n{e}^{x_i})$的共轭函数，首先考察$y$取何值时$y^{\top }x-f(x)$的最大值可以得到。对$x$求导，令其为零，得到如下条件：$$y_i=\frac{e^{x_i}}{\sum _{j=1}^n{e}^{x_j}},i=1,\cdots ,n.$$当且仅当$y\succ 0$以及$1^{\top }y=1$时上述方程有解。将$y_i$的表达式代入$y^{\top }x-f(x)$可得$f^{\ast }(y)=\sum _{i=1}^n{y}_i\log y_i$。根据前面的约定，$0\log 0$等于0，因此只要满足$y⪰0$以及$1^{\top }y=1$，即使当$y$的某些分量为零时，$f^{\ast }$的表达式仍然正确。
&esmsp; 事实上$f^{\ast }$的定义域即为$1^{\top }y=1,y⪰0$。为了说明这一点，假设$y$的某个分量是负的，比如说$y_k<0$，令$x_k=-t$，$x_i=0$，$i\ne k$，令$t$趋向于无穷，$y^{\top }x-f(x)$无上界。如果$y⪰0$但是$1^{\top }y\ne 1$，令$x=t_1$，可得$$y^{\top }x-f(x)=t_1^{\top }y-t-\log n.$$若$1^{\top }y>1$，当$t\to \infty$时上述表达式无界；当$1^{\top }y<1$时，若$t\to$时其无界。总之$$f^{\ast }(y)=\{\begin{array}{ll}\sum _{i=1}^n{y}_i\log y_i& y⪰0\text{and}{1}^{\top }y=1\\ \infty & \mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\end{array}$$换言之，指数和的对数函数的共轭函数是概率单纯形内的负熵函数。

2.6 范数

  令$\Vert \cdot \Vert$表示${\mathrm{R}}^n$上的范数，其对偶范数为$\Vert \cdot {\Vert }_{\ast }$。则其共轭函数为$$f^{\ast }(y)=\{\begin{array}{ll}0& \Vert y{\Vert }_{\ast }\le 1\\ \infty & \mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\end{array}$$即范数的共轭函数是对偶范数单位球的示性范数。如果$\Vert y{\Vert }_{\ast }>1$，根据对偶范数的定义，存在$z\in {\mathrm{R}}^n$，$\Vert z\Vert \le 1$使得$y^{\top }z>1$。取$x=tz$，令$t\to \infty$可得$$y^{\top }x-\Vert x\Vert =t(y^{\top }z-\Vert z||)\to \infty ,$$即$f^{\ast }(y)=\infty$，没有上界。反之，若$\Vert y{\Vert }_{\ast }\le 1$，对任意$x$，有$y^{\top }x\le \Vert x\Vert \Vert y{\Vert }_{\ast }$，即对任意$x$，$y^{\top }x-\Vert x\Vert \le 0$。因此，在$x=0$处，$y^{\top }x-\Vert x\Vert$达到最大值0。

2.7 范数的平方

  考虑函数$f(x)=\frac{1}{2}\Vert x{\Vert }^2$，其中$\Vert \cdot \Vert$是范数，对偶范数为$\Vert \cdot {\Vert }_{\ast }$。此函数的共轭函数为$f^{\ast }(y)=\frac{1}{2}\Vert y{\Vert }_{\ast }^2$。由$y^{\top }x\le \Vert y{\Vert }_{\ast }\Vert x\Vert$可知，对任意$x$下式成立$$y^{\top }x-\frac{1}{2}\Vert x{\Vert }^2\le \Vert y{\Vert }_{\ast }\Vert x\Vert -\frac{1}{2}\Vert x{\Vert }^2.$$上式右端是$\Vert x\Vert$的二次函数，其最大值为$(1/2)\Vert y{\Vert }_{\ast }^2$。因此对任意$x$，则有$$y^{\top }x-(1/2)\Vert x{\Vert }^2\le (1/2)\Vert y{\Vert }_{\ast }^2,$$即$f^{\ast }(y)\le (1/2)\Vert y{\Vert }_{\ast }^2$。为了说明$f^{\ast }(y)\ge (1/2)\Vert y{\Vert }_{\ast }$，任取满足$y^{\top }x=\Vert y{\Vert }_{\ast }\Vert x\Vert$的向量$x$，对其进行伸缩使得$\Vert x\Vert =\Vert y{\Vert }_{\ast }$。对于此$x$有$$y^{\top }x-(1/2)\Vert x{\Vert }^2=(1/2)\Vert y{\Vert }_{\ast }^2,$$因此$f^{\ast }(y)\ge (1/2)\Vert y{\Vert }_{\ast }^2$。

3.基本性质

3.1 Fenchel 不等式

  从共轭函数的定义可以得到，对任意$x$和$y$，如下不等式成立$$f(x)+f(y)\ge x^{\top }y,$$上述不等式为Fenchel不等式（当$f$可微的时候亦称Young不等式）。
  以函数$f(x)=(1/2)x^{\top }Qx$为例，其中$Q\in {\mathrm{S}}_{++}^n$，可以得到如下不等式 $$x^{\top }y\le (1/2)x^{\top }Qx+(1/2)y^{\top }{Q}^{-1}y.$$

3.2 共轭的共轭

  凸函数的共轭函数的共轭函数是原函数。也即：如果函数$f$是凸函数且$f$是闭的（即$\mathrm{e}\mathrm{p}\mathrm{i}f$是闭集），则$f^{\ast \ast }=f$。

3.3 可微函数

  可微函数$f$的共轭函数亦称为函数$f$的Legendre变换。（为了区分一般情况和可微情况下所定义的共轭，一般函数的共轭有时称为Fenchel共轭。）
  设函数$f$是凸函数且可微，其定义域为$\mathrm{d}\mathrm{o}\mathrm{m}f={\mathrm{R}}^n$，使$y^{\top }x-f(x)$取最大的$x^{\ast }$满足$y=\nabla f(x^{\ast })$，反之，若$x^{\ast }$满足KaTeX parse error: Expected '}', got 'EOF' at end of input: …\nabla f(x^{*])，y^{\top}x-f(x)在$x^{\ast }$处取最大值。因此如果$y=\nabla f(x^{\ast })$，则有$$f^{\ast }(y)=x^{\ast }\nabla f(x^{\ast })-f(x^{\ast }).$$所以，给定任意$y$，我们可以求解梯度方程$y=\nabla f(z)$，从而得到$y$处的共轭函数$f^{\ast }(y)$。亦可以换个角度理解，任选$z\in {\mathrm{R}}^n$，令$y=\nabla f(z)$，则$$f^{\ast }(y)=z^{\top }\nabla f(z)-f(z).$$

3.4 伸缩变换和复合仿射变换

  若$a>0$以及$b\in \mathrm{R}$，$g(x)=af(x)+b$的共轭函数为$g^{\ast }(y)=a{f}^{\ast }(y/a)-b$。设$A\in {\mathrm{R}}^{n\times n}$非奇异，$b\in {\mathrm{R}}^n$，则函数$g(x)=f(Ax+b)$的共轭函数为$$g^{\ast }(y)=f^{\ast }(A^{-\top }y)-b^{\top }{A}^{-\top }y,$$其定义域为$\mathrm{d}\mathrm{o}\mathrm{m}{g}^{\ast }=A^{\top }\mathrm{d}\mathrm{o}\mathrm{m}{f}^{\ast }$。

3.5 独立函数的和

  如果函数$f(u,v)=f_1(u)+f_1(v)$，其中$f_1$和$f_2$是凸函数，且共轭函数分别为$f_1^{\ast }$和$f_2^{\ast }$，则$$f^{\ast }(w,z)=f_1^{\ast }(w)+f_2^{\ast }(z)$$换言之，独立函数的和的共轭函数是各个凸函数的共轭函数的和。（“独立”的含义是各个函数具有不同的变量。）