【凸优化】Legendre变换、共轭函数、对偶

AI的Learner

已于 2024-12-31 15:35:17 修改

阅读量1k

点赞数 10

分类专栏：凸优化文章标签：人工智能凸优化共轭函数机器学习对偶 Legendre变换

于 2024-10-22 21:28:13 首次发布

本文链接：https://blog.csdn.net/m0_56997192/article/details/143159726

版权

凸优化专栏收录该内容

8 篇文章

订阅专栏

一、Legendre变换

1、几何解释1

Legendre 变换通过选择斜率 $u$ 作为新的自变量，将函数描述为它的斜率与相应的 x 的函数值之间的关系。几何上，它可以理解为用函数的斜率信息重新描述该函数，极大地拓展了我们在不同变量下描述物理系统的能力。

假设凸函数 $f(x)$ 的Legendre 变换为 $G(u)$ ，则 $G(u)$ 的定义域为 $f(x)$ 的斜率的取值范围， $G(u)$ 的取值为 $f(x)$ 中斜率为 $u$ 的点的函数值。对于凸函数 $f(x)$ ， $G(u)$ 中包含的 $f(x)$ 的所有信息。

2、数学推导

$f(x)$ 和 $f(x_{i})$ 是凸函数。

一维情况下的推导和多维情况下的推导

3、几何解释2

这部分来看一下Legendre变换后的函数在几何上于原函数的关系：

$G(u)=ux-f(x)$ ，画在图像上：

公式中的 $ux$ 等于图中的 $(F+G)$ ，公式中的 $f(x)$ 等于图中的 $F$ ，所以公式中的 $G(u)$ 等于图中的 $G$

即函数切线的负截距。

所以有以下几何解释：

Legendre 变换本质上是将一个曲线的点用该点上的切线表示。换句话说，你将函数的点集换成斜率 $u$ 和切线的截距（由 $G(u)$ 表示）。也就是从一个点集转化为了一个“切线集”，点集中的每个点都包含两个信息：x和y，“切线集”中的每个切线也都包含两个信息：斜率和负截距。

反向推导：

对于 $f(x)$ ，其在某点 $(x_{0},f(x_{0}))$ 处的切线方程为 $f(x)=f{}'(x_{0})(x-x_{0})+f(x_{0})$

切线方程的斜率为 $f{}'(x_{0})$ ，负截距为 $f{}'(x_{0})x_{0}-f(x_{0})$

即 $G(u)=ux-f(x)$

4、Legendre 变换的Legendre 变换是函数本身

数学推导

几何直观

$f(x)$ 上一点 $(x_{0},f(x_{0}))$ 处的切线为： $f(x)=u(x_{0})x-G(u(x_{0}))$

$G(u)$ 上一点 $(u_{0},G(u_{0}))$ 处的切线为： $G(u)=x(u_{0})u-f(x(u_{0}))$

所以他们是Legendre 变换是相互的。

也就是说 $f(x)$ 的切线的斜率为自变量，负截距为函数值组成的函数 $G(u)$ ， $G(u)$ 的切线的斜率和负截距分别是 $x$ 和 $f(x)$ 。

5、从Legendre 变换函数到原函数的几何直观

对于一个凸且光滑的函数 $f(x)$ ，在每个点处，有且仅有一个切线与之对应, 而这个切线又可以由 $G(u)$ 中唯一的一个点来表示，所以 $f(x)$ 与 $G(u)$ 是唯一对应的，他们相互包含着对方的所有信息。那么如何从 $G(u)$ 得到 $f(x)$ 呢？当然可以使用解析的方法，即对 $G(u)$ 进行Legendre 变换得到 $f(x)$ 。那么这个过程如何从几何视角来理解呢？

当从 $f(x)$ 到 $G(u)$ 的变换过程中， $G(u)$ 中的每个点都是 $f(x)$ 中相应点的切线信息，那么通过 $G(u)$ 即可画出 $f(x)$ 的所有切线，如图：

当画出所有切线时，在切线的上方将会形成一个保包络，这个包络即是 $f(x)$ 。

同样的，由于 $f(x)$ 与 $G(u)$ 是相对的，用 $f(x)$ 上的每个点画出 $G(u)$ 的所有切线时，切线上的包络也是 $G(u)$ 的图像。

二、共轭函数

1、定义及理解

了解了Legendre变换后，我们知道， $f(x)$ 存在Legendre变换的条件是它可微且是凸函数。对于是否可微，暂且不做讨论。想象一下，当 $f(x)$ 不是凸函数时，那么仍的Legendre变换，将会出现什么。

显然，其Legendre变换 $G(u)$ 将会出现一对多的情况，这时取函数值的最大值，即此时Legendre变换的结果 $G(u)$ 即是 $f(x)$ 的共轭函数：

$f^{*}(y)=\underset{x\epsilon domf}{sup}(y^{T}x-f(x))$

对于这个函数，自变量是 $f(x)$ 的切线的斜率，因变量是切线负截距的最大值。

2、几何直观理解非凸函数的共轭函数

对于凸函数，其共轭函数就是其Legendre变换，共轭函数上的每个点对于原函数的每个点，即共轭函数包含原函数的所有信息，对于非凸函数，共轭函数上的每个点与原函数的对应关系是怎样的呢？从定义可以得知，非凸函数的Legendre变换会出现多对一的情况，共轭函数是取函数值的最大值，所以原非凸函数就会有一些点的信息丢失，不会传递到共轭函数，即存在斜率重复的一部分点的信息会丢失。