详解勒让德变换与共轭函数

• 牛背上的架子称为轭，一个轭由两头牛同步行走牵引就叫做 “共轭”，引申意为按一定的规律相配的一对，这个术语在数学、物理、化学、地理等学科中都有出现
• 本文介绍共轭函数，共轭函数和原函数是紧密相关的，而且对任意函数做两次共轭就能把它转换为一个和原函数的相似的凸函数，这个性质很好，因而在优化领域中经常用到
• 参考：
  1. 共轭函数
  2. 关于勒让德变换 / 从拉格朗日方程到哈密顿正则方程

---

1. 勒让德变换 Legendre transformation

1.1 公式推导

• 勒让德变换是一个在数学和物理中常见的技巧，设函数 $f(x,y):{\mathbb{R}}^{m+n}\to \mathbb{R}$ 勒让德变换将其变为 $G(u,y){\mathbb{R}}^{m+n}\to \mathbb{R}$
  $$f(x,y)⟶G(u,y)$$ 其中 $x,u\in {\mathbb{R}}^n,y\in {\mathbb{R}}^m$，也就是说勒让德变换得到的新函数与原函数的前 $n$ 维参数不同，同时保持后 $m$ 维参数不变。通常的情况是对每一个维度都进行变换（即 $m=0$），此时勒让德变换也可表示为
  $$f(x)⟶G(u)$$

• 下面考察如何从 $f(x,y)$ 构造出 $G(u,y)$

  1. 对 $f$ 求全微分，令 $u_i=\frac{\partial f}{\partial x_i}$
     $$\begin{array}{rlrl}df& =\sum _{i=1}^n\frac{\partial f}{\partial x_i}d{x}_i+\sum _{j=1}^m\frac{\partial f}{\partial y_j}d{y}_j& & \\ & =\sum _{i=1}^n{u}_{i}d{x}_i+\sum _{j=1}^m\frac{\partial f}{\partial y_j}d{y}_j& & (令u_i=\frac{\partial f}{\partial x_i})\\ & =(\sum _{i=1}^{n}d{u}_i{x}_i-\sum _{i=1}^n{x}_{i}d{u}_i)+\sum _{j=1}^m\frac{\partial f}{\partial y_j}d{y}_j& & (d(ux)=udx+xdu)\\ ⟹d(\sum _{i=1}^n{u}_i{x}_i-f)& =\sum _{i=1}^n{x}_{i}d{u}_i-\sum _{j=1}^m\frac{\partial f}{\partial y_j}d{y}_j& & \end{array}\text{\hspace{1em}(1)}$$
  2. 令 $G(u,y)={\sum }_{i=1}^n{u}_i{x}_i-f(x,y)=u^{\top }x-f(x,y)$
     $$\begin{array}{rlr}dG(u,y)& =\sum _{i=1}^n\frac{\partial G}{\partial u_i}d{u}_i+\sum _{j=1}^m\frac{\partial G}{\partial y_j}d{y}_j& \\ & =\sum _{i=1}^n{x}_{i}d{u}_i-\sum _{j=1}^m\frac{\partial f}{\partial y_j}d{y}_j& (由(1)式)\end{array}$$
  3. 对应位置相等，再联立第一步对 $u_i$ 的定义，得到以下三个结果
     $$\{\begin{array}{rlrl}\frac{\partial f}{\partial x_i}& =u_i& & (新变量=旧函数对旧变量求偏导)\\ \frac{\partial G}{\partial u_i}& =x_i& & (旧变量=新函数对新变量求偏导)\\ \frac{\partial G}{\partial y_i}& =-\frac{\partial f}{\partial y_i}& & (新函数对不变量求偏导=负的旧函数对不变量求偏导)\end{array}\text{\hspace{1em}(2)}$$

  综上所述，勒让德变换就是对原函数 $f(x,y)$ 做如下变换
  $$G(u,y)=u^{\top }x-f(x,y)$$ 不存在不变量时，勒让德变换也可表示为
  $$G(u)=u^{\top }x-f(x)$$

1.2 几何解释

• 注意新变量 $\frac{\partial f}{\partial x_i}=u_i$ 是 “旧函数对旧变量求偏导”，且 $G(u)$ 的表达式是线性组合的形式，从几何上看，勒让德变换将函数与其切线联系到一起，见下图
  

  这里蓝色线是原函数 $f(x)$，在 $x$ 位置斜率为 $\frac{\partial f}{\partial x}=u$，黑色线为 $x$ 处变换得到的 $G(u=\frac{\partial f}{\partial x})$，图中 $F,G,x,sx$ 等表示对应边长度。为了方便观测，将 $G(u=\frac{\partial f}{\partial x})$ 向下平移到与 $f(x)$ 相切处得到红色线，注意红色线作为斜边的这个直角三角形，其底长 $x$，高 $$\begin{array}{rl}& sx=\frac{\partial f}{\partial x}x=ux=F+G=f(x)+G\\ \Rightarrow & ux-f(x)=G=G(u=\frac{\partial f}{\partial x})\end{array}$$ 这里 $G$ 是原函数 $f(x)$ 在 $x$ 点处切线的负截距，也就是说 $x$ 处变换得到的 $G(u=\frac{\partial f}{\partial x})$ 值正是 $f(x)$ 在 $x$ 处切线的负截距值。从几何上这代表靠上的浅绿色线长度也是 $G$，这是显然的，因为红黑两条线之间构成了平行四边形

• 一句话总结一下：勒让德变换得到 “原函数负截距按斜率作为输入的新函数”

• 举个具体的例子，原函数为 $f(x)=\frac{x^2}{2}$，则 $u=\frac{df}{dx}=x,G(u)=ux-f(x)=\frac{u^2}{2}$，随着 $x$ 的变化，下面左图显示了原函数负截距的变化情况，右图显示勒让德变换在不同 $x$ 处得到的函数值的变化情况，可见二者始终相等
  

2. 共轭函数 Conjugate function

• 共轭函数是对勒让德变换的推广

2.1 勒让德变换的局限性

• 勒让德变换有两个局限性

  1. 要求 $f,G$ 都必须可导，否则上述推导过程（也是变换过程）没法做
  2. 要求 $f$ 必须是凸函数，否则可能有多个 $x_i$ 取值使 $\frac{\partial f}{\partial x}$ 相等，这样对于同一个斜率会得到多个截距，勒让德变换得到的就不是函数了，如下所示
     

  Fenchel 推广了 Legendre 变换，回避这两个限制从而提出了共轭函数的概念

2.2 共轭函数

• 设函数 $f(x):{\mathbb{R}}^n\to \mathbb{R}$，定义函数 $f^{\ast }(y):{\mathbb{R}}^n\to \mathbb{R}$ 为
  $$f^{\ast }(y)=\underset{x\in \text{dom}f}{\sup }(y^{\top }x-f(x))$$ 此函数称为函数 $f(x)$ 的共轭函数。使上述上确界 $\sup$ 有限（即差值 $y^{\top }x-f(x)$ 在 $\text{dom}f$ 有上界）的所有 $y\in {\mathbb{R}}^n$构成了共轭函数 $f^{\ast }(y)$ 的定义域

  注：共轭函数和勒让德变换的唯一区别就是加了一个上确界，这里符号按习惯来和前面有点区别，其实没有本质不同

• 加上这个上确界的限制后，从几何上观察一下哪里出现了变化
  
  这里原函数 $f(x)$ 是非凸的，观察左图，显然 “1” 位置是没法做勒让德变换的，因为此处 $f(x)$ 的斜率和 “2” 位置相等，变换后的截距不唯一。这时引入上确界可以限制我们只能唯一地选择令 $y^{\top }x$（即图中 $kx$）超过 $f(x$ 最多的位置，也就是在 “1” 位置进行变换，得到的共轭函数值就是此处切线的负截距

  事实上，引入上确界后得到的共轭函数一定是凸函数，因为 $y^{\top }x-f(x)$ 对于 $y$ 而言是仿射函数，而一族仿射函数的逐点上确界是凸函数（参考此处），因此引入 $\sup$ 解除了 $f$ 必须是凸函数的限制

2.3 共轭函数的性质

1. Fenchel 不等式：$f^{\ast }(y)\ge y^{\top }x-f(x)$。这个从定义直接能得到

2. 若 $f$ 是凸函数且可微，则其勒让德变换和共轭函数相同。这个也很好证明，如果 $f(x)$ 是凸的，那它取负再加一个仿射函数后得到的 $y^{\top }x-f(x)$ 一定是凹的，凹函数一定在梯度等于 0 处取最大值，令梯度为 0 得到 $y=f^{\prime }(x)$，代入可见这时共轭函数和勒让德变换相同

3. 如果 $f$ 是凸函数且其上镜集是闭集，则 $f(x)=f^{\ast \ast }(x)$ （自己共轭的共轭是自己，注意回到用 $x$ 为自变量了）

   上镜集（epigraph）是值大于函数值的点构成的区域，如
   
   上镜集是闭集合意味着 $f(x)$ 是连续的，否则在 $f(x)$ 间断处其上镜集是开的

   当 $f(x)$ 是凸函数时，其共轭函数 $f^{\ast }(y)$ 可以近似看做 $f(x)$ 各点处切线围成的图，这二者是很像的

   注意不要真的把共轭函数看做各点处切线的拼接，因为共轭函数的取值是原函数负截距，自变量是原函数各处梯度，完全不一样，只是二者形似

   
   简单证明一下 $f(x)=f^{\ast \ast }(x)$
   $$\begin{array}{rl}{f}^{\ast }(y)& =\underset{x}{\sup }(y^{\top }x-f(x))\\ & =f^{\prime }(x_0{)}^{\top }{x}_0-f(x_0)\\ f^{\ast \ast }(x)& =\underset{x}{\sup }(x^{\top }y-f^{\ast }(y))\\ & =\underset{x}{\sup }(x^{\top }y-(f^{\prime }(x_0{)}^{\top }{x}_0-f(x_0)))\\ & =\underset{x}{\sup }(f^{\prime }(x_0{)}^{\top }(x-x_0)+f(x_0))\\ & =f(x)\end{array}$$ 其中最后一步是因为：当 $f$ 为凸函数时，它在任意一点大于等于其泰勒展开

4. 当原函数 $f(x)$ 非凸时，其共轭的共轭 $f^{\ast \ast }(x)$ 也很有用
   
   $f^{\ast \ast }(x)$ 一定是凸的，而且任意的 $y^{\top }x$ 会在相同的 $x$ 处距离 $f(x)$ 和 $f^{\ast \ast }(x)$ 最远，一个函数共轭的共轭就好像把原函数装在塑料袋一样形成一个凸包

   注：我认为这个图里把 $f^{\ast \ast }(x)$ 画得太像 $f(x)$ 切线拼成的了，实际二者应该只是形状类似，但取值不不一定几乎重合

5. 仿射变换的共轭：$g(x)=af(x)+b$，则 $g^{\ast }(y)=a{f}^{\ast }(y/a)-b$，证明略

6. 复合仿射变换的共轭：$g(x)=f(Ax+b)$，则 $g^{\ast }(y)=f^{\ast }(A^{\top }y)-y^{\top }{A}^{-1}b$，证明略

7. 独立函数的和的共轭：$f(u,v)=f_1(u)+f_2(v)$，则 $f^{\ast }(w,z)=f_1^{\ast }(w)+f_2^{\ast }(z)$，证明略 （独立函数指每个函数的变量不相同）