深度学习优化器使用经验总结

AI算法网奇

已于 2022-09-20 00:53:23 修改

阅读量3.1k

点赞数 1

分类专栏：深度学习宝典文章标签：深度学习人工智能计算机视觉

于 2020-10-18 17:30:37 首次发布

本文链接：https://blog.csdn.net/jacke121/article/details/109147585

版权

深度学习宝典专栏收录该内容

984 篇文章 713 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文总结了深度学习中优化器的使用经验，包括SGD+StepLR在某些情况下表现出色，YOLO系列模型使用AdamW优于SGD，RAdam与LookAhead的结合以及AdaBelief优化器的快速收敛特性。

摘要由CSDN通过智能技术生成

sgd加StepLR有时候效果好

yolo AdamW比sgd效果更好

RAdam和LookAhead合二为一

优化器 Adam和SGD的结合体AdaBelief 检测可以

sgd加StepLR有时候效果好

    exp_lr_scheduler = optim.lr_scheduler.CosineAnnealingLR(optimizer_ft, T_max=T_max)
    exp_lr_scheduler = lr_scheduler.StepLR(optimizer_ft, step_size=2, gamma=0.8)

yolo AdamW比sgd效果更好

yolov5和yolov7都可以用 ,学习率0.001

AdamW末尾有个参数：Amsgrad，是AdamW的改进版。

RAdam和LookAhead合二为一

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

AI算法网奇

关注关注

1
点赞
踩
4

收藏

觉得还不错? 一键收藏
打赏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

深度学习中的优化器原理总结（经典+前沿）

qq_42514662的博客

10-22

4035

目录前言一、梯度下降的思想与批梯度下降法 1.随机梯度下降法 2.标准梯度下降法 3.批梯度下降法二、经典的五类优化器 1.SGD 2.SGD with momentum(SGDM) 3.Adagrad 4.RMSProp 5.Adam 三、前沿方法 1.AMSGrad 2.AdaBound 3.SWAT 4.Cyclical LR/SGDR/One-cycle LR 5.RAdam 6.Lookahead 7.SGDWM/AdamW 8.一些帮助优化的方法 .

adam优化算法_AdaBelief：一个有“信仰”的优化器

weixin_39597318的博客

12-31

388

AdaBelief 也算最近看的很有意思的论文，作者分析做的很好，实验效果也挺好，大家关注度也比较高，而且后面还有意外惊喜。尽量从没太多人写的角度来写，而非复述论文。介绍这篇的文章很多，甚至作者在 B 站还有中文介绍视频。介绍 AdaBelief 前，先需要简单介绍下 SGD（随机梯度下降）和 Adam，因为论文中一直说的都是 AdaBelief 的最大优点就是集以上两者的优点为一身。既有 SGD...

1 条评论您还未登录，请先登录后发表或查看评论

深度学习优化器

weixin_40849121的博客

04-19

2038

深度学习前沿优化器调研

探索高效优化器：Adabelief 算法详解

gitblog_00027的博客

04-09

475

探索高效优化器：Adabelief 算法详解项目地址:https://gitcode.com/juntang-zhuang/Adabelief-Optimizer 在深度学习领域中，优化算法扮演着至关重要的角色，它决定了模型训练的速度和性能。最近，Adabelief Optimizer 引起了不少关注，它是由朱俊堂开发的一个新颖的梯度下降优化器。本文将深入探讨 Adabelief 的原理、技术分...

yolo在train时，出现box_loss、cls_loss、dfl_loss为nan，Box(P R mAP50 mAP50-95)为0或者直接报错的解决办法

最新发布

TracyGC的博客

05-17

1057

以及注释掉ultralytics/yolo/engine/validator.py # self.args.half = self.device.type!也有文章说是NVIDIA对GTX16xx相关CUDA包有问题，把每个地方.half()改为.float()或者把half赋值为False，找到val.py和validator.py，查看self.args.half的值，都改成False。/cfg/default.yaml 第49行 half 为 False。

深度学习（一）：什么是深度学习优化器

weixin_42892235的博客

08-15

2826

深度学习常见优化器（一）：什么是深度学习优化器 在深度学习中，我们有损失的概念，它告诉我们模型在当前时刻的表现如何。现在，我们需要利用这种损失来训练我们的网络，使其性能更好。本质上，我们需要做的就是计算损失并尽量减少损失，因为较低的损失意味着我们的模型将表现得更好。最小化（或最大化）任何数学表达式的过程称为优化，现在我们需要了解如何将这些优化方法用于神经网络。在神经网络中，每层之间都有许多权重。我们必须了解，网络中的每一个权重都会以某种方式影响网络的输出，因为它们都直接或间接地连接到输出。因此，可以说，

深度学习，各类优化器优缺点总结。

08-09

除了上述三种基本的优化方法，深度学习还发展出了多种改进的优化器，包括但不限于： - Adagrad：自适应学习率算法，为每个参数分配不同的学习率。它特别适合处理稀疏数据，缺点是随着训练的进行，学习率会逐渐降低...

深度学习中的最优化问题讲义pdf

10-18

根据提供的信息，我们可以总结出以下关于“深度学习中的最优化问题”的相关知识点： ### 一、最优化问题在深度学习中的重要性 1. **深度学习背景**：深度学习是机器学习的一个分支，通过模拟人脑神经网络的方式来...

京东使用Triton经验 - 深度学习推理优化与部署实践.pdf

02-25

此外，京东还分享了他们对深度学习模型的优化经验，包括如何使用Rust来调用Triton的so、如何使用Python来调度模型、如何使用RDMA来提高模型的性能等。这些经验可以帮助我们更好地理解深度学习模型的优化和部署。这...

Adabelief-Optimizer:NeurIPS 2020聚焦“ AdaBelief Optimizer的存储库

03-16

AdaBelief优化器 NeurIPS 2020 Spotlight可以像Adam一样快速训练，具有与SGD一样的通用性，并且对于训练GAN稳定。释放包装我们发布了adabelief-pytorch==0.2.0和adabelief-tf==0.2.0 。请使用pip提供的最新版本。源代码位于pypi_packages/adabelief_pytorch0.2.0和pypi_packages/adabelief_tf0.2.0 。目录有关超参数的重要信息。外部链接，，，，，，链接到代码以使用AdaBelief进行额外的实验 SN-GAN 变形金刚（PyTorch 1.1）变形金刚（PyTorch 1.6）强化学习（玩具）强化学习（HalfCheetah-v2 Walker2d-v2）对象检测（由yuanwei2019提供）（请

训练速度与Adam一样快且与SGD一样好的优化器。-Python开发

05-25

AdaBound一种优化器，其训练速度与Adam一样快，并且与SGD一样好，用于针对CV，NLP等领域中的各种流行任务开发最新的深度学习模型。。（2019）。 Ada AdaBound一种优化器，其训练速度与Adam一样快，并且与SGD一样好，用于针对CV，NLP等领域中的各种流行任务开发最新的深度学习模型。 al。（2019）。具有学习率动态范围的自适应梯度方法。在过程中。的ICLR 2019版本。快速链接网站演示安装AdaBound需要Python 3.6.0或更高版本。我们目前提供PyTorch版本，并且TensorFlow的AdaBound即将推出。通过安装

nn：:brain:带有并行注释的深度学习论文的最小实现教程；包括变压器（原始，xl，开关，反馈），优化器（adam，radam，adabelief），gans（dcgan，cyclgan），强化学习（ppo，dqn），capsnet，sketch-rnn等

02-05

详解 Deep Learning 的各种优化器（一）

Redflashing

06-01

284

作者：Redflashing 梯度下降是优化神经网络和许多其他机器学习算法的首选方法。本文将介绍各种基于梯度下降的优化器，如 Momentum，Adagrad 以及 Adam 的具体细节本文将讲解以下概念： Gradient Descent Batch Gradient Descent Stochastic Gradient Descent（SGD） Min-batch Gradient Descent Momentum Nesterov accelerated gradient（NAG） Ada

最优化方法系列：Adam+SGD—>AMSGrad

alppkk4545的博客

06-05

1951

自动调参的Adam方法已经非常给力了，不过这主要流行于工程界，在大多数科学实验室中，模型调参依然使用了传统的SGD方法，在SGD基础上增加各类学习率的主动控制，以达到对复杂模型的精细调参，以达到刷出最高的分数。 ICLR会议的 On the convergence of Adam and Beyond 论文，对Adam算法...

AdaBelief优化器导致梯度爆炸loss输出nan

CoolCoolCarrot的博客

12-23

863

记录一个优化器的坑跑实验发现loss输出是nan，打印出梯度发现训练了没几次之后就变成了nan。一开始以为是新增的模块有问题，尝试注释掉新模块，发现依旧存在同样的问题。之前根据老师的建议，使用了AdaBelief优化器。由于更新了AdaBelief包，每次运行试验时都会print出提示告诉你建议的参数值，想着试一试的心态就把AdaBelief的参数按照github的建议做了修改，奇迹发生了！！！！loss和梯度一下子都正常了所以使用AdaBelief的小伙伴如果遇到梯度爆炸问题可以尝试按照官方的

tensorflow中Adagrad优化器运用

yunfeather的博客

05-26

1815

tensorflow中Adagrad优化器运用 Adagrad优化器引用API：tensorflow.keras.optimizers.Adagrad 代码实现： #Adagrad v_w += tf.square(grads[0]) #求二阶动量v_w，从开始到现在梯度的平方和 v_b += tf.square(grads[1]) #求二阶动量v_b，从开始到现在梯度的平方和 w1.assign_sub(learning_rate * grads[0] / tf.sqrt(v..

优化算法SGD与Adam

dbdxwyl的博客

12-29

7359

说来惭愧，一直在用的两个经典的优化器，几行代码就完成了参数更新，但是却一直没有深入的了解其中的原理。 improt torch ... optimizer = torch.optim.SGD(model.parameters(), lr=0.01, momentum=0.9) optimizer = torch.optim.Adam(model.parameters(), lr=0.01) ... optimizer.zero_grad() ... optimizer.step() 首先贴一下pyto

SGD和Adam（转载）

cuipanguo的博客

01-14

3576

https://blog.csdn.net/weixin_42398658/article/details/84525917

利用MPS提升GPU利用率：深度学习推理优化实践

"MPS技术 - 深度学习推理优化与部署实践.pdf" 本文档主要探讨了在深度学习推理优化和部署过程中，如何利用MPS（Multi-Process Service）技术提升GPU的利用率，以及在实际业务场景中的应用。文档作者陈名华来自...