20200813-共轭函数的仿射变化

最新推荐文章于 2022-07-22 15:55:16 发布

小P同学L

最新推荐文章于 2022-07-22 15:55:16 发布

阅读量262

点赞数

分类专栏：凸优化文章标签：共轭函数仿射变化

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/pacificL/article/details/107983257

版权

凸优化专栏收录该内容

3 篇文章 1 订阅

订阅专栏

在Convex Optimization的第三章中提到了共轭函数的仿射变化。但是没有具体说明过程，这里推导一下。

参考资料：

Convex Optimization: Chapter-3

函数 f(x) 的共轭函数定义为

$f^*(y)=\sup\limits_{x\in\mathbf{dom}f}(x^Ty-f(x))$

现给出其仿射变化函数 g(x)=af(x)+b ，其共轭函数为 g^*(y)=af^*(y/a)-b ，证明如下：

当 $z=\nabla f(x)$ 时，仿射函数 x^Tz 与函数 f(x) 的距离最大，即梯度相同时，距离最远。

因此对于函数 f(x) 来说，其共轭函数为

$f^*(z)=x^T\nabla f(x)-f(x)$

其中 $z=\nabla f(x)$ 。

对于函数 g(x) 来说，其共轭函数为

$\begin{array} {ll} g^*(y)&=ax^T\nabla f(x)-af(x)-b\\ &=a(x^T\nabla f(x)-f(x))-b\\ &=af^*(z)-b \end{array}$

其中 $y=a\nabla f(x)=az$

变量替换就可得到 g^*(y)=af^*(y/a)-b 。

函数 g(x)=f(Ax+b) ，其共轭函数为 $g^*(y)=f^*(A^{-T}y)-bA^{-T}y$ ，其中， $A\in \mathbf{R}^{n\times n},\ b\in \mathbf{R}^{n\times 1}$ 。证明如下：

这里用到了矩阵求导，参考资料：矩阵求导，矩阵求导、几种重要的矩阵及常用的矩阵求导公式

首先对函数 f(x) 与上面的证明一致，不再赘述。

对于函数 g(x)=f(Ax+b) ，当 $y=A^T\nabla f(Ax+b)$ 时，仿射函数 x^Ty 与函数 f(Ax+b) 的距离最大。

因此其共轭函数为

$g^*(y)&=x^TA^T\nabla f(Ax+b)-f(Ax+b)$

令 w=Ax+b ，则 $x=A^{-1}(w-b)$ ， $y=A^T\nabla f(x)$ 。而共轭函数为

$\begin{array}{ll} g^*(y)&=x^TA^T\nabla f(Ax+b)-f(Ax+b)\\ &= (w-b)^TA^{-T}A^T\nabla f(w)-f(w)\\ &=w^T\nabla f(w)-f(w)-b^T\nabla f(w)\\ &=f^*(z)-b^T\nabla f(w) \end{array}$

其中， $y=A^T\nabla f(w)=A^Tz$ ，则 $z=A^{-T}y$ ，而 $\nabla f(w)=A^{-T}y$ 。将 $z,\ \nabla f(w)$ 进行替换就可以得到 $g^*(y)=f^*(A^{-T}y)-bA^{-T}y$ 了。

这里给个提示：

$A^{T}x=y,\ x=A^{-T}y$
$(A^{T})^{T}=A$ ，注意与矩阵的逆区别。
所有的推导按照矩阵求导的分母布局进行的。

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
20200813-共轭函数的仿射变化

在Convex Optimization的第三章中提到了共轭函数的仿射变化。但是没有具体说明过程，这里推导一下。参考资料：Convex Optimization: Chapter-3函数的共轭函数定义为现给出其仿射变化函数，其共轭函数为，证明如下：当时，仿射函数与函数的距离最大，即梯度相同时，距离最远。因此对于函数来说，其共轭函数为其中。对于函数来说，其共轭函数为其中变量替换就可得到。...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。