论文略读：Benign Oscillation of Stochastic Gradient Descent with Large Learning Rate

最新推荐文章于 2024-08-22 21:27:41 发布
最新推荐文章于 2024-08-22 21:27:41 发布
阅读量182 收藏
点赞数 1
分类专栏： 论文笔记 文章标签： 深度学习 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/137782176
版权

iclr 2024 reviewer评分 368

  • 论文从理论上研究了通过随机梯度下降（SGD）且采用大学习率训练的神经网络（NN）的泛化特性
  • 论文的发现是，由于SGD的大学习率引起的NN权重的振荡，实际上有利于NN的泛化，潜在地优于通过SGD以小学习率训练的、更平滑收敛的相同NN
    • ——>将这种现象称为“良性振荡”
  • 论文证明，通过振荡SGD且学习率较大训练的NN可以有效地学习在那些强特征存在的情况下的弱特征。相比之下，通过SGD且学习率较小训练的NN只能学习强特征，而在学习弱特征方面几乎没有进展
    • ——>当面对只包含弱特征的新测试数据点时，通过振荡SGD且学习率较大训练的NN仍然可以做出正确的预测，而通过SGD且学习率较小训练的NN则不能

UQI-LIUWJ
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Stochastic Gradient Descent (SGD) 原理与代码实战案例讲解
程序员光剑
07-26 270
Stochastic Gradient Descent (SGD) 原理与代码实战案例讲解 关键词： SGD（随机梯度下降） 最小化损失
随机梯度下降 (Stochastic Gradient Descent)
程序员光剑
07-23 557
随机梯度下降 (Stochastic Gradient Descent) 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1
论文阅读------Stochastic Gradient Descent with Differentially Private updates
博客
10-14 835
论文阅读------Stochastic Gradient Descent with Differentially Private updates
【论文记录】Stochastic gradient descent with differentially private updates
Liu, Q. B. 的博客
01-29 967
标题
论文笔记——Asynchronous Decentralized Parallel Stochastic Gradient Descent
GJ_007的博客
04-27 1219
论文笔记——Asynchronous Decentralized Parallel Stochastic Gradient Descent 改变了中心化的结构，使用了分布式的结构 算法过程 每个worker在其本地内存中维护一个本地模型 ，并（以workeri为例）重复以下步骤： 样本数据：样本由{ } 表示的一小批训练数据，其中M是batch size。 计...
论文笔记——Asynchronous Stochastic Gradient Descent with Delay Compensation
GJ_007的博客
04-18 1612
论文笔记——Asynchronous Stochastic Gradient Descent with Delay Compensation 论文对ASGD算法进行了改进，对具有延迟的梯度设计了新的更新规则。 ASGD 下图为ASGD训练过程，梯度gt应该对应模型wt，但是由于延迟，在参数服务器接收到时，模型已经更新到了wt+τ，ASGD对于延迟的梯度不做处理。 论文利用泰勒展开，将梯...
【图像去噪】论文精读：MemNet: A Persistent Memory Network for Image Restoration
最新发布
畅游计算机视觉的海洋
08-22 626
论文题目：MemNet: A Persistent Memory Network for Image Restoration —— MemNet：用于图像恢复的持久记忆网络ICCV 2017！延长记忆网络MemNet！DRRN相同团队出品！最近，非常深的卷积神经网络 (CNN) 在图像恢复中引起了相当大的关注。然而，随着深度的增长，这些非常深的模型很少实现长期依赖问题，这导致先验状态/层对后续状态几乎没有影响。
单细胞论文记录(part7)--DL and alignment of spatially resolved single-cell transcriptomes with Tangram
小山羊的学习日志
05-29 398
学习笔记，仅供参考，有错必纠 Journal：Nature Methods Year：2021 Authors：Tommaso Biancalani， Gabriele Scalia，Aviv Regev Deep learning and alignment of spatially resolved single-cell transcriptomes with Tangram abstract 绘制器官的生物图谱需要我们在空间上研究整个单细胞转录组，并将这些细胞特征与解剖学尺度联系起来. Singl
略读或渗透：在具有战略意义的消费者面前，新时尚产品的最优定价
03-12
这篇名为“略读或渗透：在具有战略意义的消费者面前，新时尚产品的最优定价”的研究论文，由Peng Du和Qiushuang Chen共同撰写，探讨了在这种情况下如何制定最优的新产品定价策略。 文章首先构建了一个简化的模型，...
文献略读：Frontier-Based 相关
m0_46167617的博客
09-14 919
文献略读：Frontier Based 相关 A Frontier-Based Approach for Autonomous Exploration 该论文第一次提出了frontier-based方法 frontier：已知空间和未探索空间的分解区域 核心思想：To gain the most new information about the world, move to the boundary between open space and uncharted territory. 地图采用evid
论文笔记-Deep Spatial Gradient and Temporal Depth Learning for Face Anti-spoofing
Lyndsey的博客
11-19 648
第1…4天啦 今天依旧给大家介绍一篇人脸反欺骗的论文，略读。 一、研究背景 人脸反欺骗对人脸识别系统的安全性至关重要。深度监督学习已被证明是最有效的人脸反欺骗方法之一。尽管取得了巨大的成功，但大多数先前的工作仍然通过简单地用深度来增加损失来将问题公式化为单帧多任务问题，同时收集详细的细粒度信息以及面部深度和运动模式之间的差异。 以往的方法通常将人脸反欺骗形式化为欺骗和现实生活之间的二元分类。然而，这些方法对于探索欺骗模式的本质是具有挑战性的，例如皮肤去尾的丢失、颜色失真、莫尔模式和欺骗伪像。 为了克服这个问
Stochastic gradient descent与Batch gradient descent
深藏功与名
09-07 3680
梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，下面的h(x)是要拟合的函数，J(theta)损失函数，theta是参数，要迭代求解的值，theta求解出来了那最终要拟合的函数h(theta)就出来了。其中m是训练集的记录条数，j是参数的个数。 梯度下降法函数function [k ender]=steepest(f,x,e)，需要三个参数f、x和e,其中f为目标函
Stochastic gradient descent(SGD)随机梯度下降
woohu的博客
03-05 670
Stochastic gradient descent for reducing complexity in millimeter wave hybrid precoding design 2018 会议 单用户下的，可用于多用户。 不过记得此文章和几年前一篇文章一模一样，待参考 ...
SGD(Stochastic Gradient Descent)随机梯度下降
change_things的博客
11-12 636
为了实现NCA，需要看看随机梯度下降 看完发现其实主要是求个目标函数的偏微分。 然后发现numpy的转置对一维向量没用。好像矩阵运算的时候会自动转换行列。
梯度下降优化算法综述
热门推荐
我和我追逐的梦~~~
09-09 7万+
梯度下降优化算法综述   该文翻译自An overview of gradient descent optimization algorithms。   总所周知，梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。但是，它们就像一个黑盒优化器，很难
『ML笔记』随机梯度下降法(Stochastic gradient descent, SGD)、BGD、MSGD+Momentum
AI新视界
06-04 6509
随机梯度下降法(Stochastic gradient descent, SGD)+python实现！ 文章目录一、设定样本二、梯度下降法原理 一、设定样本 假设我们提供了这样的数据样本（样本值取自于y=3x1+4x2y=3x_{1}+4x_{2}y=3x1​+4x2​）： x1x_{1}x1​ x2x_{2}x2​ yyy 1 4 19 2 5 26 5 1 19 ...
Stochastic Gradient Descent ( 随机梯度下降 )
striving
04-02 8678
Stochastic Gradient Descent (SGD) ( 随机梯度下降（ SGD ） ) 是一种简单但非常有效的方法，用于在诸如（线性）支持向量机和 逻辑回归 之类的凸损失函数下的线性分类器的辨别学习。即使 SGD 已经在机器学习社区中长期存在，但最近在大规模学习的背景下已经受到了相当多的关注。SGD 已成功应用于文本分类和自然语言处理中经常遇到的大规模和稀疏机器学习问题。SGD 已...
Stochastic Gradient Hamiltonian Monte Carlo论文笔记
u013841458的博客
09-07 3826
Abstract 哈密​​尔顿蒙特卡罗（HMC）抽样方法提供了一种机制，用于在Metropolis-Hastings框架中定义具有高接受概率的远程建议，从而比标准随机游走建议更有效地探索状态空间。近年来，这种方法的普及已经显着增长。然而，HMC方法的限制是用于模拟哈密顿动力系统所需的梯度计算 - 这种计算在涉及大样本大小或流数据的问题中是不可行的。相反，我们必须依赖于从数据子集计算的噪声梯度...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值