论文笔记——Asynchronous Stochastic Gradient Descent with Delay Compensation

最新推荐文章于 2024-04-15 15:23:58 发布
最新推荐文章于 2024-04-15 15:23:58 发布
阅读量1.6k 收藏 1
点赞数
分类专栏： 论文笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/GJ_007/article/details/105595359
版权
本文探讨了异步随机梯度下降(ASGD)算法及其在延迟补偿方面的局限性。通过引入DC-ASGD算法，我们解决了梯度延迟问题，并详细介绍了其更新规则。实验结果表明，在CIFAR-10和ImageNet数据集上，DC-ASGD相较于传统ASGD具有显著优势。
摘要由CSDN通过智能技术生成

论文笔记——Asynchronous Stochastic Gradient Descent with Delay Compensation

论文对ASGD算法进行了改进，对具有延迟的梯度设计了新的更新规则。

ASGD

下图为ASGD训练过程，梯度gt应该对应模型wt，但是由于延迟，在参数服务器接收到时，模型已经更新到了wt+τ，ASGD对于延迟的梯度不做处理。

论文利用泰勒展开，将梯度展开，尝试补偿延迟

部分则为hessian矩阵，因为参数数量过多，导致计算出精确的hessian矩阵会降低训练效率，所以文中提出了一种hessian近似器。

DC-ASGD算法

给出DC-ASGD算法更新规则：

客户端

服务器端

实验

在两个数据集上做了实验CIFAR-10 (Hinton, 2007) 和ImageNetILSVRC 2013 (Russakovsky et al., 2015).

原文见论文题目

smile_and_ovo
关注
专栏目录
随机梯度下降 (Stochastic Gradient Descent)
AI天才研究院
07-23 588
随机梯度下降 (Stochastic Gradient Descent) 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1
Stochastic Gradient Descent (SGD) 原理与代码实战案例讲解
最新发布
AI大模型应用之禅
07-21 954
Stochastic Gradient Descent (SGD) 原理与代码实战案例讲解 关键词： SGD（随机梯度下降） 最小化损失
延迟补偿的异步随机梯度下降(ASGD with DC)
shiqi,bao的博客
07-18 1万+
摘要随着深度学习快速发展，目前普遍使用大数据训练庞大神经网络。因为效率高，ASGD广泛使用，但是有梯度延迟的缺陷。这是因为当一个本地worker将梯度push到全局模型中时，可能这个全局模型已经被其他worker将梯度更新过了，这样本地worker push的梯度就是延迟的。因此本文提出补偿延迟的一个新技术，为了使ASGD更接近于SGD的优化效果。这是利用梯度函数的泰勒展开来有效逼近损耗函数的Hes
论文笔记——Asynchronous Decentralized Parallel Stochastic Gradient Descent
GJ_007的博客
04-27 1245
论文笔记——Asynchronous Decentralized Parallel Stochastic Gradient Descent 改变了中心化的结构，使用了分布式的结构 算法过程 每个worker在其本地内存中维护一个本地模型 ，并（以workeri为例）重复以下步骤： 样本数据：样本由{ } 表示的一小批训练数据，其中M是batch size。 计...
【论文记录】Stochastic gradient descent with differentially private updates
Liu, Q. B. 的博客
01-29 985
标题
论文阅读------Stochastic Gradient Descent with Differentially Private updates
博客
10-14 884
论文阅读------Stochastic Gradient Descent with Differentially Private updates
论文略读：Benign Oscillation of Stochastic Gradient Descent with Large Learning Rate
qq_40206371的博客
04-15 220
iclr 2024 reviewer评分 368。
asynchronous online (ASO) federated learning and stochastic gradient push for distributed deep learn
cvb00052的博客
09-14 521
第一篇文章是ASO-Fed 优点：global的训练用上了attention，对模型的第一层用了global feature representation learning。Attention mechanisms have shown to be effective in identifying key features and their representations. 并且由于是asynchronous的，对local server的更新用了decay coefficient，对previous和c
Asynchronous Proximal Stochastic Gradient Algorithm for Composition Optimization Problems
02-07
Asynchronous Proximal Stochastic Gradient Algorithm for Composition Optimization Problems
【论文笔记】Gradient Episodic Memory for Continual Learning
lasetd的博客
06-22 1528
论文笔记
matlab代码生成（dsp2837x）——Asynchronous Scheduling程序+模型.zip
07-07
在"matlab代码生成（dsp2837x）——Asynchronous Scheduling程序+模型.zip"中，包含了一个基于Simulink的模型，该模型能够被直接导出为适用于TMS320C2837X DSP的CCS（Code Composer Studio）代码。 1. **TMS320C...
从Stochastic Gradient Descent到Adaptive Moment Estimation
lpty的博客
02-18 1982
引言 深度学习优化算法，基本的发展历程就是： SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam 当说到优化算法时，我们说的是什么？ 优化算法 对于优化算法，给定一个具有参数θ的目标函数，一般会定义为损失函数，
Stochastic gradient descent与Batch gradient descent
深藏功与名
09-07 3694
梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，下面的h(x)是要拟合的函数，J(theta)损失函数，theta是参数，要迭代求解的值，theta求解出来了那最终要拟合的函数h(theta)就出来了。其中m是训练集的记录条数，j是参数的个数。 梯度下降法函数function [k ender]=steepest(f,x,e)，需要三个参数f、x和e,其中f为目标函
Stochastic gradient descent(SGD)随机梯度下降
woohu的博客
03-05 687
Stochastic gradient descent for reducing complexity in millimeter wave hybrid precoding design 2018 会议 单用户下的，可用于多用户。 不过记得此文章和几年前一篇文章一模一样，待参考 ...
AN ANALYSIS OF THE DELAYED GRADIENTS PROBLEM IN ASYNCHRONOUS SGD
weixin_43938663的博客
07-13 76
AN ANALYSIS OF THE DELAYED GRADIENTS PROBLEM IN ASYNCHRONOUS SGD https://openreview.net/pdf?id=BJLSGcywG Abstract 梯度下降可以通过数据并行或模型并行在多个worker之间有效分配。 所有方法的共同目标是最大限度地减少工人的闲置时间。 参数同步（例如SGD中的每个小批次之后）需要参数服务器在应用更新之前等待最慢的工作人员回复。有一种完全异步的方法（Dean等，2012），最初称为Downpour
SGD(Stochastic Gradient Descent)随机梯度下降
change_things的博客
11-12 651
为了实现NCA，需要看看随机梯度下降 看完发现其实主要是求个目标函数的偏微分。 然后发现numpy的转置对一维向量没用。好像矩阵运算的时候会自动转换行列。
ASGD-异步随机梯度下降（论文笔记）
GJ_007的博客
03-03 3949
ASGD-异步随机梯度下降 （论文：一种 Yarn 框架下的异步双随机梯度下降算法） 随机梯度下降在模型迭代过程中利用随机选取的某个训练样本去计算梯度并完成模型参数更新，具有计算量小、收敛速度快以及模型效果好。 但难以直接实现并行环，采用并行化技术，算法执行效率不高。 异步随机梯度下降（ASGD） 将模型参数迭代更新过程分割成三个原子操作：模型参数读取、模型参数更新、梯度计算，利用梯度延迟实现在在多核系统和分布式系统中并行。 在多核系统中，异步随机梯度下降算法利用多线程和共享内存技术加以实现；在
Pytorch优化器全总结（一）SGD、ASGD、Rprop、Adagrad
热门推荐
xian0710830114的专栏
09-06 7万+
这是一个系列，以Pytorch为例，介绍所有主流的优化器，如果都搞明白了，对优化器算法的掌握也就差不多了。作为系列的第一篇文章，本文介绍Pytorch中的SGD、ASGD、Rprop、Adagrad，其中主要介绍SGD和Adagrad。因为这四个优化器出现的比较早，都存在一些硬伤，而作为现在主流优化器的基础又跳不过，所以作为开端吧。
深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）
余昌黔|书山有路
08-24 6万+
前言（标题不能再中二了）本文仅对一些常见的优化方法进行直观介绍和简单的比较，各种优化方法的详细内容及公式只好去认真啃论文了，在此我就不赘述了。SGD此处的SGD指mini-batch gradient descent，关于batch gradient descent, stochastic gradient descent, 以及 mini-batch gradient descent的具体区别就不
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值