【First-order Methods】 9 Mirror Descent

最新推荐文章于 2022-10-01 17:19:56 发布
最新推荐文章于 2022-10-01 17:19:56 发布
阅读量1.1k 收藏 6
点赞数 1
分类专栏： 一阶方法 文章标签： first-order metho
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38716567/article/details/83752208
版权

目录

1  From Projected Subgradient to Mirror Descent

2  Convergence Analysis

2.3  Dynamic Stepsize Rule

3  Mirror Descent for the Composite Model

镜像下降方法  是投影次梯度方法在非欧空间的推广

1  From Projected Subgradient to Mirror Descent

非欧空间中，x^{k}\in \mathbb{E}与f^{'}(x^{k})\in \mathbb{E^{*}}在不同空间。我们从以下迭代式来理解欧氏空间在投影次梯度方法中的作用：

上两式在欧氏空间中由下式可知其等价：

由于不在欧氏空间内讨论，欧氏范数自然不存在，由此定义新的距离：

Bregman距离不是真正意义上的距离，对于距离定义的三个性质，只满足非负性，对称性及三角不等式都不满足。

将欧氏距离替换为Bregman距离\Rightarrow

2  Convergence Analysis

2.3  Dynamic Stepsize Rule

3  Mirror Descent for the Composite Model

 

8、9章学习了投影次梯度方法及其在非欧空间的推广

 

 

 

 

xzen
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
First Order Methods in Optimization Ch9. Mirror Descent
Learner Hu's roam
02-08 2521
第九章: 镜像下降 文章目录第九章: 镜像下降
非凸非光滑优化的惯性块镜像下降方法（Matlab代码实现）
最新发布
m0_64583023的博客
01-02 869
在本文中，我们提出了块坐标下降方法的惯性版本，用于解决非凸非光滑复合优化问题。此外，我们的方法不需要重新启动步骤，因此不是一个单调递减的方法。为了证明整个生成序列收敛到临界点，我们修改了Bolte、Sabach和Teboulle的收敛证明方法（非凸非光滑问题的近端交替线性化最小化，数学规划146(1)：459-494，2014），并结合辅助函数。文章中一些内容引自网络，会注明出处或引用为参考文献，难免有未尽之处，如有不妥，请随时联系删除。博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。
最优化算法(一)
Mesip丶专栏
06-12 4771
前言 最优化算法在机器学习中扮演着重要的角色，很多的机器学习算法最终都会归结为如下的最优化问题minfJ(x):=λΩ(f)+Remp(f)\min_f J(x):=\lambda\Omega(f)+R_{emp}(f)以上就是结构风险最小化，其中Remp(f)R_{emp}(f)是期望风险。Remp(f):=1m∑i=1ml(f(xi),yi)R_{emp}(f):=\frac{1}{m}\s
Dual Mirror Descent for Online Allocation Problems
weixin_43889128的博客
10-01 587
在线分配
时变网络上的分布式随机镜像下降算法
03-16
时变网络上的分布式随机镜像下降算法
Mirror Descent
青山白云间
07-10 1663
Mirror Descent 翻译自 Bregman Divergence and Mirror Descent 文章目录Mirror Descent1 组合目标函数2 在线学习3 随机优化 次梯度下降的收敛速度通常取决于问题的维数。假设求函数fff在CCC上的最小值，那么次梯度下降(subgradient descent)为 xk+12=xk−αkgk,gk∈∂f(xk)xk+1=arg min⁡x∈C12∥x−xk+12∥2=arg min⁡x∈C12∥x−(xk−αkgk)∥2.(20) \beg
LR---Gradient-Descent
03-15
在这个名为“LR---Gradient-Descent-main”的Jupyter Notebook文件中，很可能包含了实现逻辑回归和梯度下降的Python代码。通常，这样的文件会使用库如Numpy、Pandas和Scikit-learn进行数据预处理、模型训练、结果...
Steepest-Descent-Line-Search.rar_descent
07-14
Steepest Descent line search matlab algorithm
Steepest-descent-algorithm.zip_descent_steepest descent
07-14
Steepest descent algorithm
MATLABteepest-descent-method.rar_descent_steepest descent
07-14
最速下降无优化算法的基本原理以及实例分析
基于无梯度的分布式镜面下降算法.pdf
08-08
#资源达人分享计划#
Affine-Transform-Registration-master_gradient_descent_
10-02
"Affine-Transform-Registration-master_gradient_descent_"这个标题暗示我们这里涉及的是一个使用Python实现的仿射变换图像配准项目，其中采用了梯度下降算法进行优化。接下来，我们将深入探讨这两个关键概念——...
Mirror Descent 算法（Matlab实现）
青山白云间
07-10 848
Mirror Descent 算法（Matlab实现） 主要参考 Mirror descent: 统一框架下的first order methods 普通情况下的Mirror Descent算法 function x = MirrorDescent(x, lr, gradient, Lipschitz, BregmanDiv, BreDivFun) % f是可微的，且导数L李普希茨连续 % x：优化参数 % lr： 学习率 % gradient：梯度（或者次梯度） % Lipschitz：李普希茨连
梯度下降法的三种形式BGD、SGD以及MBGD
mirror的专栏
03-21 1124
阅读目录 1. 批量梯度下降法BGD 2. 随机梯度下降法SGD 3. 小批量梯度下降法MBGD 4. 总结 　　在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法还具体包含有三种不同的形式，它们也各自有着不同的优缺点。 　　下面我们以线性回归算法来对三种梯度下降法进行比较。 　　一般线性回归函数的假设函数为： h
6、CentOS7 安装Docker之扩展（三个技巧，将Docker镜像体积减小90%）
大坏蛋的博客
09-24 1959
三个技巧，将Docker镜像体积减小90% 在构建Docker容器时，应该尽量想办法获得体积更小的镜像，因为传输和部署体积较小的镜像速度更快。 但RUN语句总是会创建一个新层，而且在生成镜像之前还需要使用很多中间文件，在这种情况下，该如何获得体积更小的镜像呢？ 你可能已经注意到了，大多数Dockerfiles都使用了一些奇怪的技巧： FROM ubuntu RUN apt-get up...
梯度下降法的推导（非常详细、易懂的推导）
热门推荐
liupc的学习笔记
07-05 8万+
梯度下降算法的公式非常简单，”沿着梯度的反方向（坡度最陡）“是我们日常经验得到的，其本质的原因到底是什么呢？为什么局部下降最快的方向就是梯度的负方向呢？也许很多朋友还不太清楚。没关系，接下来我将以通俗的语言来详细解释梯度下降算法公式的数学推导过程。下山问题假设我们位于黄山的某个山腰处，山势连绵不绝，不知道怎么下山。于是决定走一步算一步，也就是每次沿着当前位置最陡峭最易下山的方向前进一小步，然后继续...
【机器学习】梯度下降算法及梯度优化算法
flora
08-03 8407
用于评估机器学习模型的就是损失函数，我们训练的目的基本上都是最小化损失，这个最小化的方式就要用优化算法了，机器学习中最常用的就是梯度下降算法。 导数、方向导数和梯度 要了解梯度下降算法是什么首要知道梯度是什么，导数和方向导数又是了解梯度的前提。 导数 　导数反映的是函数y=f(x)在某一点处沿x轴正方向的变化率，如果f’(x)>0，说明f(x)的函数值在x点沿x轴正方向是趋于...
【First-order Methods】 6 The Proximal Operator
weixin_38716567的博客
10-31 4872
本篇blog主要介绍了临近算子、临近算子与正交投影的联系、几个临近定理、Moreau分解等等 目录 1 Definition, Existence, and Uniqueness（什么是邻近算子、第一临近定理：临近算子解集只有一个元素 singleton、6.4 闭和coerciveness条件下邻近算子解集的非空性） 2 First Set of Examples of Proxima...
Mini-batch Stochastic Gradient Descent
04-10
(Mini-batch随机梯度下降)是什么？它与传统的随机梯度下降有什么区别？ 回答： Mini-batch随机梯度下降是一种优化算法，它将样本数据分成若干个小批次进行训练，每个小批次上的梯度计算可以减少计算量，同时也能提高收敛速度和泛化能力。与传统的随机梯度下降相比，Mini-batch随机梯度下降可以更快速地更新权重，并且更加稳定，有助于避免局部最优解陷阱。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值