深入理解共轭函数及相关性质解析

$$\text{函数定义}$$
共轭函数在凸优化中有着非常重要的作用，是理解对偶的必不可少的元素。在书中，它被定义为
$$f^{\ast }(y)=\underset{x\in domf}{\sup }(y^{T}x-f(x))$$
其中，$f:R^n\to R，f^{\ast }:R^n\to R$，$f^{\ast }$称为$f$的共轭函数。也就是说，共轭函数是线性函数$y^{T}x$与原始函数$f(x)$的最大gap.

---

$$\text{物理意义}$$
我们使用书中的图作为例子，可以看到，当$y$固定的时候，$y^{T}x$就是一个线性函数，这是一个经过空间原点，斜率为$y$的线（二维空间），此时对于每一个$x$，$y^{T}x$有一个值，$f(x)$也有一个值，共轭函数希望最大化前者减去后者的差。那么我们对上面的函数求一阶导数，就得到了$f^{\prime }(x)=y$，即在该点，$f(x)$的斜率等于$y$，也就是说我们将$y^{T}x$向下平移到一个不能再平移的位置，该位置所对应的$x$即我们要的变量值。

---

$$\text{重要性质}$$
共轭函数之所以重要，而且被很多理论广泛使用，是因为他有几条很好的性质

1. $f(x)$如果可微，则$f^{\ast }(y)$所对应的$x$必是$f^{\prime }(x)=y$的一点。
   解释：我们对共轭函数的任意一个自变量$y$，都会找到一个或者多个$x$使得共轭函数的取值最大，而上面我们已经求导了，只有在$f^{\prime }(x)=y$时，该函数的值最大。
2. 无论$f(x)$是不是凸函数，他的共轭函数$f^{\ast }(y)$一定都是凸函数。
   解释： 这是一个非常神奇而且重要的性质，给定一个任意的函数，我们都可以使用共轭创造一个凸函数。为什么他的共轭函数一定是凸函数呢？我们简单进行分析：对于$f^{\ast }(y)={\sup }_{x\in domf}(y^{T}x-f(x))$，这是一个关于$y$的线性函数（第一项是线性，第二项无关），线性函数是凸函数唔注意！，那么我们有很多个$x$，每个$x$都对应一个凸函数$(y^{T}x-f(x))$，那么，$f^{\ast }(y)$即一系列凸函数的逐点上确界，这是一个保凸运算，即$f^{\ast }(y)$一定为凸。
3. 对于复数而言，复数的共轭的共轭是他自身。但是对于函数而言是不一定的。因为函数的共轭一定是凸函数，那么函数的共轭的共轭一定也是凸函数。如果原函数不是凸函数，那么二者肯定不一样，否则如果原函数是凸的而且是闭函数，那么共轭的共轭确实等于它自身。

---

$$\text{Simple Examples}$$
$$\mathbf{f}(\mathbf{x})=\mathbf{a}\mathbf{x}+\mathbf{b},\mathbf{d}\mathbf{o}\mathbf{m}\mathbf{f}=\mathbf{R}$$
此时共轭函数为：

$$\mathbf{f}(\mathbf{x})=-\log \mathbf{x},\mathbf{d}\mathbf{o}\mathbf{m}\mathbf{f}={\mathbf{R}}_{++}$$
此时，$f^{\ast }(y)={\sup }_{x\in domf}(yx+\log x)$，根据第一条性质$f^{\prime }(x)=y$得到$x=-1/y$，因为我们有$x>0$的约束，将这个结果带回原方程，我们得到：

注意$y>0$的时候因为$x>0$，所以$yx$我们总能取到无穷，$y==0$的时候，$\log x$为无穷，所以$y\ge 0$函数值取正无穷。
$$\mathbf{f}(\mathbf{x})=\frac{1}{2}{\mathbf{x}}^{\mathbf{T}}\mathbf{Q}\mathbf{x},\mathbf{Q}\in {\mathbf{S}}_{++}^{\mathbf{n}},\mathbf{d}\mathbf{o}\mathbf{m}\mathbf{f}={\mathbf{R}}^{\mathbf{n}}$$
此时，$f^{\ast }(y)={\sup }_{x\in domf}(y^{T}x-\frac{1}{2}{x}^{T}Qx)$，同样我们可以使用第一条性质，他对$x$求偏导得到的结果是$y-Qx=0$（注意不是$y^T$）。正定矩阵的奇异值等于特征值全部大于0，因此Q是可逆的，那么$x=Q^{-1}y$，将$x$带会原方程得到：
${\mathbf{f}}^{\ast }(\mathbf{y})={\mathbf{y}}^{\mathbf{T}}{\mathbf{Q}}^{-1}\mathbf{y}-\frac{1}{2}{\mathbf{y}}^{\mathbf{T}}({\mathbf{Q}}^{-1}{)}^{\mathbf{T}}\mathbf{y}\mathbf{Q}{\mathbf{Q}}^{-1}\mathbf{y}$，again，Q是对称的，那么稍微进行化简我们就得到了$\frac{1}{2}{\mathbf{y}}^{\mathbf{T}}{\mathbf{Q}}^{-1}\mathbf{y}$。也就是把$x$换成$y$，将$Q$换成了$Q^{-1}$。

---

$$\text{参考blog}$$

https://blog.csdn.net/shenxiaolu1984/article/details/78194053
https://blog.csdn.net/xiaocj423/article/details/50831001?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1