[学习日志]深度学习-李宏毅 优化器介绍

最新推荐文章于 2024-04-29 11:18:46 发布
最新推荐文章于 2024-04-29 11:18:46 发布
阅读量206 收藏
点赞数
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gjh1716718326/article/details/112530895
版权
本文介绍了深度学习中的优化器，包括SGD、SGDM、Adagrad、RMSProp和Adam等。讨论了各优化器的特点，如动量、自适应学习率和梯度消失问题。同时提到了Adam的改进版AMSGrad和AdaBound，以及优化器选择策略，如SWATS。
摘要由CSDN通过智能技术生成

momentum 动量

记录的从第0步优化到第n步优化的步子

SGD 随机梯度下降

最简单的,走一步看一步

SGDM

还是走一步看一步,但是在走的每一步会受到之前所走过的步子的影响(下图中的V)
且越近的步子对当前步子的影响会越大(λ的次数会越来愈高)

重要的优点:当本次梯度为零(梯度消失)后,上一步会保证继续移动(有点类似惯性和动量的概念)
在这里插入图片描述

Adagrad

优点就是控制步长,让步长不回太大或太小(更接近最佳步长)
在这里插入图片描述

RMSProp

预期的效果和Adagrad接近,就是让步长合适
但是Adagrad有一个问题就是,较早期的梯度对当前步长的影响过大
RMSProp会逐渐减小早期步长对当前步长的影响(α的

最低0.47元/天 解锁文章
烫烫烫烫的若愚
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习-李宏毅
09-25
在本讲义中，李宏毅教授会详细介绍深度学习的基本概念，包括神经网络的构成、反向传播算法、损失函数以及优化方法。 1. **神经网络**：神经网络是深度学习的核心，由大量的人工神经元组成，模拟生物神经元之间的...
一天搞懂深度学习--李宏毅.zip
05-16
一天搞懂深度学习--台湾大学电机工程学助理教授李宏毅讲义pdf
Adam 优化器
m0_50534425的博客
05-23 3万+
深度学习中的神经网络优化。它结合了RMSProp和Momentum两种优化算法的思想，并且对参数的更新进行了归一化处理，使得每个参数的更新都有一个相似的量级，从而提高训练效果。具体来说，Adam优化器定义了两个指数加权平均值：第一个指数加权平均值是梯度的指数加权平均值，第二个指数加权平均值是梯度的平方的指数加权平均值。1.自适应调整学习率：Adam 优化器可以根据历史梯度信息来自适应地调节学习率，使得在训练初期使用较大的学习率，能够快速收敛，在训练后期使用较小的学习率，能够更加准确地找到损失函数的最小值。
优化器SGD、Adam和AdamW的区别和联系
weixin_44902604的博客
02-18 5947
优化器是用来更新和计算影响模型训练和模型输出的网络参数，使其逼近或达到最优值，从而最小化(或最大化)损失函数。
各种优化器及其优缺点（SGD,RMSProp,Adam及其变种）
最新发布
samoyan的博客,记录技术成长~
04-29 2047
其中，θ_t是第t步的参数，α是学习率，∇f(θ_{t-1})是损失函数在第t-1步的梯度，r_t是第t步的平方梯度的移动平均值，β是衰减系数，ε是防止除0错误的小常数。其中，m_t和v_t分别是一阶矩和二阶矩的指数移动平均值，β1和β2是衰减系数，α是学习率，λ是权重衰减系数，ε是防止除0错误的小常数。其中，θ_t是第t步的参数，α是学习率，∇f(θ_{t-1})是损失函数在第t-1步的梯度，v_t是第t步的速度，γ是动量参数。动量优化的另一个缺点是可能会导致优化过程在某些方向上过快，从而跳过最优解。
Adam优化器（通俗理解）
热门推荐
BeiErGeLaiDe的博客
07-29 7万+
Adam，名字来自：Adaptive Moment Estimation，自适应矩估计。是2014年提出的一种万金油式的优化器，使用起来非常方便，梯度下降速度快，但是容易在最优值附近震荡。竞赛中性能会略逊于SGD，毕竟最简单的才是最有效的。但是超强的易用性使得Adam被广泛使用。...
【优化器】(五) Adam原理 & pytorch代码解析
Lizhi_Tech的博客
07-18 1万+
在之前的文章了，我们学习了SGD，以及在其基础上加了一阶动量的SGD Momentum，还有在其基础上加了二阶动量的AdaGrad、AdaDelta、RMSProp。那么自然而然就会想到把一阶动量和二阶动量结合起来，这样就形成了我们常用的优化器Adam
#深入探究# Adam和SGDM优化器的对比
lch551218的博客
06-07 1万+
1. Adma 和 MSGD Adam和MSGD作为当今最优秀的两种深度学习优化器，分别在效率和精度上有着各自的优势，下面我们将分析两种优化器各自优势的原因，两边的两张图分别是 几种常见的优化器在猫狗分类数据集上的分类准确率曲线，第一个是训练集，第二个是测试集 以下两张图是某个NLP任务中，几种模型的准确率和困惑度指标变换曲线 通过上边两幅图片可知： Adma在训练集上的准确率较高，MSGD在测试集上的准确率较高 Adma的速度更快，但MSGD能够得到好的效果 第一个结论可以用下边这个图来解释：
深度学习-李宏毅-English.pptx
05-15
优质的深度学习资料 一天搞懂深度学习
1天搞懂深度学习-李宏毅.zip
01-07
首先，课程可能会从机器学习的基础知识入手，介绍监督学习、无监督学习和强化学习的基本原理，为后续深度学习的讲解铺垫基础。然后，深入讨论神经网络，包括前馈神经网络（FFN）、卷积神经网络（CNN）和循环神经网络...
优化器介绍—SGD、Adam、Adagrad
百年孤独百年的博客
04-20 8550
在深度学习中，优化器是一个非常重要的组成部分，它通过调整模型参数的方式来最小化损失函数。本教程将介绍三种常用的优化器以及如何选择最合适的优化器。
SGD优化器和Adam区别
胭脂草的ABC博客
03-25 1065
综上所述，选择哪种优化器取决于具体任务的需求，包括计算资源、收敛速度、鲁棒性以及对超参数调整的容忍度。
SGD，Adam，AdamW，LAMB优化器
flyingluohaipeng的博客
03-31 7018
BERT 预训练包括两个阶段：1）前 9/10 的训练 epoch 使用 128 的序列长度，2）最后 1/10 的训练 epoch 使用 512 的序列长度。优化器是用来更新和计算影响模型训练和模型输出的网络参数，使其逼近或达到最优值，从而最小化(或最大化)损失函数。优点： 简单性，在优化算法中没有太多的参数需要调整，通过少量的计算量就可以获得比较好的结果。为预先设定的超参数，分别代表参数调整的下界和上界。这一简单的调整所带来的实际效果非常显著。随机梯度下降是最简单的优化器，它采用了简单的梯度下降法，
Adam和SGD优化算法比较
dc爱傲雪和技术
04-02 2101
Adam和SGD（随机梯度下降）是两种广泛使用的优化算法，它们在深度学习模型训练中有不同的特性和表现。
【深度学习】Adam与SGD优化器的选择
rocking_struggling的博客
02-13 2612
发现若监督优化器的算法很多都采用SGD，选择Adam反而效果不好，所以这里学习了两者的区别。
常见深度学习优化器 BGD、SGD、MBGD及Adam 对比总结
日常学习与专研的记录
03-04 1507
本文介绍深度学习常见的优化器：BGD、SGD、MBGD以及Adam
深度学习基础：最优化算法（优化器，学习率，SGD，Adam， Momentum， NAG等）
qq_36998146的博客
01-24 925
Adam法同时包含了动量更新与学习率调整，使用梯度的一阶矩估计和二阶矩估计来动态调整学习率，Momentum和Rmspop相结合。优点简单，缺点不稳定，学习率敏感，迭代慢。其优缺点比较明显：优点是二阶的方法利用了导数的二阶信息，因为优化方向更加准确，速度更快；但是二阶需要计算或近似估计Hessian矩阵，一阶方法一次迭代更新复杂度O(N)，N是参数量，二阶方法就是O(N*N)，计算量大。Adam使用的是梯度的一阶矩估计和二阶矩估计（梯度的二阶矩估计，也称为梯度平方的指数加权移动平均）。
深度学习优化算法大全系列6:Adam
bitcarmanlee的博客
01-14 1万+
1.Adam是啥 前面铺垫了这么多，终于铺垫到Adam了。作为最常用的优化器之一，很多同学可能都听说过Adam的名字，但是Adam是什么意思可能并不清楚。Adam其实包括两部分：Ada+M。其中，Ada就是我们前面提到的Adaptive，而M是我们一直在讲的Momentum。 结合我们前面提到的内容，SGD中的一阶动量计算方式： mt=β1mt−1+(1−β1)gtm_t = \beta_1 m_{t-1} + (1-\beta_1)g_tmt​=β1​mt−1​+(1−β1​)gt​ 而在AdaDelta
深度学习之图像处理方向与pytorch的基础知识汇总
qq_30979017的博客
03-11 1281
点开链接以后别忘了回来点个赞 o -_-! 1、GAN中用到的损失函数BCELoss 这篇文章讲的特清楚： Pytorch详解BCELoss和BCEWithLogitsLoss 2、图像质量评价指标PSNR，MSE，SSIM： 先讲PSNR和MSE: PSNR 与MSE （由于基于差剖面的简单计算不符合人类视觉系统（Human Vis...
一天搞懂深度学习-台湾大学.pptx
10-15
这是一份关于深度学习的教程，由台湾大学的李宏毅教授讲解。深度学习是人工智能领域的一个关键分支，近年来受到了广泛的关注，并在诸如语音识别、图像识别、围棋游戏、对话系统等多个领域取得了显著成果。这份教程...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值