【First-order Methods】 4 共轭函数

最新推荐文章于 2023-02-02 10:53:18 发布
最新推荐文章于 2023-02-02 10:53:18 发布
阅读量479 收藏 4
点赞数
分类专栏： 一阶方法 文章标签： First-order Methods
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38716567/article/details/84378284
版权
修改时间修改内容
2019.09.28 
  

1共轭函数定义的不同【非线性优化】

2共轭函数的性质  一些函数的共轭函数计算 共轭函数运算规则

介绍共轭函数的定义；闭凸性下一些更强的性质；共轭次梯度定理。

1 定义及一些基本性质

固定y 能得到一个值，所有y得到所有值组成一个函数

凸性和闭性对max都保

保proper

 

2  The Biconjugate（双共轭）

这里x自反

                                                  

增强f的条件后，两者是等价的。

3  Conjugate Calculus Rules

4  Examples

5   Infimal Convolution and Conjugacy

6  Subdifferentials of Conjugate Functions

次可微

共轭次梯度定理，正常凸的函数f的共轭函数的一些等价性质

证明比较简单，注意各定理的条件和定理间的联系

xzen
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
First-Order and Stochastic Optimization Methods for Machine Learning.pdf
03-19
1. 机器学习中的优化算法：文档的标题和描述提到了“First-Order and Stochastic Optimization Methods for Machine Learning”，意味着该文档涉及机器学习中的优化算法。优化算法是机器学习的核心组成部分，用于...
【First-order Methods】 Summary
weixin_38716567的博客
02-28 849
1、Vector Spaces 主要介绍一些空间、集合、范数等基本概念 2、Extended Real-Valued Functions 主要介绍增广实值函数的一些基本性质定义，如domain、下半连续性、闭性、水平集等等 3、Subgradients Subgradients 补充 主要介绍什么是次梯度、次微分集合的性质、什么情况称为次可微；什么是方向导数、方向导数如何与次...
First Order Methods in Optimization Ch3. Subgradients (Part I)
Learner Hu's roam
11-23 2081
第三章: 次梯度 文章目录第三章: 次梯度
次梯度（Subgradients）
zbwgycm的博客
02-26 1万+
Introduction 对于一个可微的凸函数fff，其一阶特性有： f(y)≥f(x)+∇f(x)T(y−x)f(y)\geq f(x)+\nabla f(x)^T(y-x)f(y)≥f(x)+∇f(x)T(y−x) 而当凸函数fff是不可微的，我们也可以根据该性质来定义其次梯度。 次梯度 一个凸函数fff在xxx的次梯度ggg定义为： f(y)≥f(x)+gT(y−x)f(y)\geq f(x...
共轭函数及其性质
weixin_43509834的博客
02-02 6045
共轭函数（conjugate function）亦称对偶函数：如果fRn→Rf:R^n→RfRn→R是一个函数，那么ffff∗ysupx∈dmffyTx−fxf∗yx∈dmffsup​yTx−fx))​其中f∗yf^*(y)f∗y的定义域是使得等式右边有上界的那些y。
深入理解共轭函数及相关性质解析
csyifanZhang的博客
05-08 1万+
函数定义\color{orange}\textbf{函数定义}函数定义 共轭函数在凸优化中有着非常重要的作用，是理解对偶的必不可少的元素。在书中，它被定义为 f∗(y)=sup⁡x∈domf(yTx−f(x))f^*(y)=\sup_{x\in dom f}(y^Tx-f(x))f∗(y)=x∈domfsup​(yTx−f(x)) 其中，f:Rn→R，f∗:Rn→Rf:R^n\rightarrow...
无Lipschitz要求的自适应一阶凸优化方法_Adaptive first-order methods revisited C
02-02
在优化领域，自适应一阶方法（Adaptive first-order methods）是解决凸优化问题的常用工具，特别是对于那些不满足Lipschitz连续性或光滑性的复杂问题。Lipschitz连续性通常要求函数在任意两点之间的差异有一个上界，...
First-order-upwind.zip_First Order Upwind_firstorderupwind
09-21
在数值计算领域，第一阶迎风方法（First-Order Upwind Scheme）是一种常用于处理偏微分方程，特别是像流体动力学、气体动力学以及热传导等问题中的空间离散策略。标题“First-order-upwind.zip”和“First Order ...
A simple adaptive first-order differential microphone.pd
04-08
【标题】"A simple adaptive first-order differential microphone.pd" 知识点解释： 1. 差分麦克风：差分麦克风是一种利用两个或多个麦克风接收端的信号差进行工作的麦克风系统。与传统的全向性麦克风相比，差分...
Reptile: On First-Order Meta-Learning Algorithms
01-20
On First-Order Meta-Learning Algorithms Paper:https://arxiv.org/pdf/1803.02999.pdf Code:https://github.com/openai/supervised-reptile Tips：OpenAi的一篇相似MAML的Meta-learning相关的paper。 （阅读笔记）...
共轭函数介绍
欢迎来到道的世界
04-02 1万+
共轭函数   设函数f:Rn→Rf:\mathrm{R}^{n}\rightarrow \mathrm{R}f:Rn→R，定义函数f∗:Rn→Rf^{*}:\mathrm{R}^{n}\rightarrow\mathrm{R}f∗:Rn→R为f∗(y)=sup⁡x∈dom(y⊤x−f(x))f^{*}(y)=\underset{x \in \mathrm{dom}}{\operatorname{sup}}(y^{\top}x-f(x))f∗(y)=x∈domsup​(y⊤x−f(x)) ......
【First-order Methods】 8 Primal and Dual Projected Subgradient Methods
weixin_38716567的博客
04-10 993
参考文献：first-order methods in optimization: Amir Beck 目录 1 From Gradient Descent to Subgradient Descent 1.1 Descent Directions? 2 The Projected Subgradient Method 2.1 The Method 2.2Convergence...
共轭函数
weixinhum
01-08 3万+
共轭函数在最近火的不行的Gan生成对抗神经网络进阶版本的数学推理中有着神奇的作用，因此在这边记录下。 共轭函数的定义为： f∗(t)=max⁡x∈dom⁡(f){xt−f(x)} f ^ { * } ( t ) = \max _ { x \in \operatorname { dom } ( f ) } \{ x t - f ( x ) \} f∗(t)=x∈dom(f)max​{xt−f(x)}...
【First-order Methods】 1 Vector Spaces（基础的）
weixin_38716567的博客
10-03 578
参考文献：first-order methods in optimization: Amir Beck 1 Vector Spaces 1.1-1.4 基本空间、维数、范数、内积的概念 1.5 凸集、仿射集的定义【凸集分离定理】 1.6 内积诱导的欧几里得范数 1.7 R^n空间：主要是向量的p范数和无穷范数 1.8 R^mn空间：矩阵的范数 F范数 ab范数2（谱）范数 1范数...
一、基础知识(3)-共轭函数、次梯度
11-15 1897
共轭函数、次梯度
共轭函数两个性质的证明
布鲁克林有一棵树
02-18 6542
学习机器学习的时候有涉及到共轭函数（也叫对偶函数），这边文章总结一下共轭函数的学习 共轭函数的定义：对于函数   其定义如下： 表示函数的定义域，可以这样理解这个函数：首先它是关于的函数，给定一个 值时，关于的函数 在定义域上的最大值，即 对应的值 共轭函数在支持向量机的数学理论证明有涉及过，在最近火的不行的Gan生成对抗神经网络进阶版本的数学推理中也发挥着神奇的作用（听说待学习） 因...
Moreau Decomposition 和 共轭次梯度定理
AugustMoore的博客
03-16 1741
在学习临近梯度(proximal gradient)中遇到的问题。证明 Moreau Decompositon。
【优化】共轭函数(Conjugate Function)超简说明
热门推荐
shenxiaolu1984的专栏
10-10 4万+
从便于理解的角度介绍共轭函数的概念并推导常用例子。
first-order filter模块
最新发布
03-16
一阶滤波器模块是一种基本的滤波器模块，它可以对信号进行低通、高通、带通等滤波处理。一阶滤波器模块的特点是简单、易于实现和调节，但是滤波效果相对较弱，适用于一些简单的信号处理应用。在电子电路设计、音频处理、图像处理等领域都有广泛的应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值