机器学习2 -- 优化器（SGD、SGDM、Adagrad、RMSProp、Adam等）

已于 2024-05-29 14:50:11 修改
阅读量3.5w 收藏 496
点赞数 68
分类专栏： 深度学习：搜索推荐、NLP、机器学习等 文章标签： 深度学习 算法 人工智能
于 2020-08-27 21:15:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013510838/article/details/108268525
版权
本文详细介绍了深度学习中的主要优化器，包括SGD、SGDM、Adagrad、RMSProp和Adam，讨论了它们的优缺点以及应用场景。针对SGDM和Adam的优化方法，如SWATS、AMSGrad、AdaBound等，也进行了探讨。选择优化器通常根据任务类型，例如CV任务常用SGDM，NLP任务偏好Adam。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1 主要优化器

1.1 SGD

SGD全称Stochastic Gradient Descent，随机梯度下降，1847年提出。每次选择一个mini-batch，而不是全部样本，使用梯度下降来更新模型参数。它解决了随机小批量样本的问题，但仍然有自适应学习率、容易卡在梯度较小点等问题。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
谢杨易
关注
  • 68
    点赞
  • 踩
  • 496
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 10
    评论
专栏目录
订阅专栏
人工智能-损失函数-优化算法：梯度下降【SGD--＞SGDM(梯度动量)--＞AdaGrad(动态学习率)--＞RMSProp(动态学习率)--＞Adam(动态学习率+梯度动量)】、梯度下降优化技巧
u013250861的博客
12-16 1350
批量梯度下降法（Batch Gradient Descent，简称BGD）是梯度下降法最原始的形式，它的具体思路是在更新每一参数时都使用所有的样本来进行更新，它的目的是得到一个全局最优解，但是每迭代一步，都要用到训练集所有的数据，如果样本数目m很大，这种方法的迭代速度很慢！随机梯度下降算法算法是从样本中随机抽出一组，训练后按梯度更新一次，然后再抽取一组，再更新一次，在样本量及其大的情况下，可能不用训练完所有的样本就可以获得一个损失值在可接受范围之内的模型了。其思想是：每次迭代 使用。
模型微调与迁移学习：实现领域适应性评估
longtengzhangjie的博客
04-17 709
我们的目标是找到一组参数$\theta^$，使得在目标领域的数据集上的损失函数最小，同时保持模型的复杂度较低。图像分类：在图像分类任务中，我们可以使用在ImageNet上预训练好的卷积神经网络（CNN）模型，如VGG、ResNet等，通过模型微调和迁移学习，快速训练出一个适应新任务的模型。自然语言处理：在自然语言处理任务中，我们可以使用预训练的BERT模型，通过模型微调和迁移学习，快速训练出一个适应新任务的模型，如文本分类、命名实体识别等。迁移学习是指将一个在源领域训练好的模型应用到目标领域的过程。
tensorflow2 5种优化器 SGD,SGDM,ADAGRAD,RMSPROP,ADAM 在鸢尾花数据集中的对比.docx
05-01
tensorflow2 5种优化器 SGD,SGDM,ADAGRAD,RMSPROP,ADAM 在鸢尾花数据集中的对比，word 文档。
随机梯度下降法 (SGD)
最新发布
We1ky的博客
07-31 1164
SGD的基本思想是通过逐个样本或小批量样本来更新模型参数，而不是使用整个数据集。这种方法大大提高了计算效率，特别是在处理大规模数据集时。
SGD优化器
benbencan的专栏
08-21 1699
https://www.cnblogs.com/guoyaohua/p/8542554.html
深度学习_深度学习基础_常见优化器（SGD、AdaGrad、RMSProp）详解
欢迎大家关注我
08-02 7199
SGD（随机梯度下降） 随机梯度下降的优化算法在科研和工业届是很常用的。 很多理论和工程问题都能转化成对目标函数进行最小化的数学问题。 举个例子：梯度下降（Gradient Descent）就好比一个人想从高山上奔跑到山谷最低点，用最快的方式奔向最低的位置。 SGD的公式： 动量（Momentum）公式： 基本的mini-batch SGD优化算法在深度学习取得很多不错的成绩。然而也存在一些问题需解决： 选择恰当的初始学习率很困难。 学习率调整策略受限于预先指定的调整规则。 相同的学习率被应用于各个参
深度学习笔记（六）——网络优化（2）：参数更新优化器SGD、SGDM、AdaGrad、RMSProp、Adam
拨雪寻春，烧灯续昼
01-14 1530
本文总结了常用的5个参数优化器SGD SGDM AdaGrad RMSProp Adam，并总结归纳了构建网络时需要注意的一些经验
优化器（SGD、SGDM、Adagrad、RMSProp、Adam等）
posuosini的博客
08-23 284
一些常见的优化器的类别
【李宏毅2020 ML/DL】P8-9 Optimization for Deep Learnin | 优化器技术总结，SGDM 与 Adam 对比与使用建议
记录学习痕迹的公众号：Piper蛋窝
07-22 1764
很丰满的一节课，关于优化器的综述与实用意见。
机器学习10 -- 半监督学习 Semi-supervised Learning
热门推荐
谢杨易的博客
09-11 1万+
1 为什么要做半监督学习 有监督机器学习已经在很多领域证明了它的有效性，比如ImageNet图像分类任务，深度学习模型早在2017年，准确率就已经超过了人类。机器学习被认为是一门数据驱动的学科，数据分为两部分，data和label。通常情况下，data是比较容易获取的，而label需要标注，要珍贵很多。比如对于图像分类任务，网络上有成千上万的图片数据，但他们大多数都是没有label标注的。 通常情况下，我们可以进行一小部分数据的标注，形成有监督数据，然后再利用好其他未标注数据。这种方法称为半监督学习。半
关于SGD、Momentum、RMSprop、Adam的优化器的介绍
nbxuwentao的博客
10-16 354
（1）https://cloud.tencent.com/developer/article/1491393 （2）https://blog.csdn.net/u010089444/article/details/76725843 关于优化算法的介绍哦啊
常见优化器SGD-NadaMax
wait_ButterFly的博客
12-08 375
常见优化器SGD-NadaMax 转载https://zhuanlan.zhihu.com/p/81020717 SGD Momentum Nesterov Momentum AdaGrad RMSProp AdaDelta Adam AdaMax Nadam NadaMax SGD 随机梯度下降算法，最常用地mSGD，小批量随机梯度下降求解参数。 Momentum 动量梯度下降算法 代码 import numpy as np class Mo...
深度学习笔记:详解优化器之随机梯度下降（SGD）
weixin_53765658的博客
03-13 2154
欢迎收藏Star我的Machine Learning Blog:https://github.com/purepisces/Wenqing-Machine_Learning_Blog。如果收藏star, 有问题可以随时与我交流, 谢谢大家！在深度学习中，优化器被用来调整模型的参数。优化器的目的是调整模型权重以最小化损失函数。回顾一下，我们使用线性类和激活函数类构建了自己的MLP模型，并且已经了解了如何对神经网络中使用的核心组件进行前向传播和反向传播。前向传播用于估计，而反向传播告诉我们参数变化如何影响损失。
梯度下降优化器：SGD -＞ SGDM -＞ NAG -＞AdaGrad -＞ AdaDelta -＞ Adam -＞ Nadam -＞ AdamW
zephyr_wang的博客
02-24 2686
梯度下降优化器：SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam -> AdamW
优化器与优化方法：随机梯度下降（SGD）
m0_70911440的博客
12-03 6788
随机梯度下降（SGD）是最经典和常用的优化算法之一，本文将重点介绍和解释SGD的概念、算法原理以及在深度学习中的应用和优缺点。1. 低计算成本：SGD每次仅使用一个样本或一批样本进行模型参数更新，相比于使用全部样本的批量梯度下降（BGD），计算成本更低。1. 动量法（Momentum）：引入一个动量项，使更新方向在梯度变化较大的维度上具有一定的惯性，从而加速收敛并减少震荡。4. RMSprop：对Adagrad进行改进，通过平均梯度的平方来调整学习率，从而缓解训练过程中的震荡。SGD的原理相对简单。
Pytorch常用的函数(八)常见优化器SGD,Adagrad,RMSprop,Adam,AdamW总结
qq_44665283的博客
04-23 2694
Pytorch常用的函数(八)常见优化器SGD,Adagrad,RMSprop,Adam,AdamW总结
【优化器】(一) SGD原理 & pytorch代码解析
Lizhi_Tech的博客
07-12 8131
很多情况下，我们调用优化器的时候都不清楚里面的原理和构造，主要基于自己数据集和模型的特点，然后再根据别人的经验来选择或者尝试优化器。下面分别对SGD的原理、pytorch代码进行介绍和解析。
直观理解常用的优化器：SGD，AdaGrad, Adam
小草莓的魔法笔记
12-07 2415
直观理解梯度下降算法及其改进算法:动量法，AdaGrad, Adam.
优化器SGD、adagrad,adam比较
07-17
SGD（随机梯度下降）、Adagrad和Adam是常用的优化器算法，用于在深度学习中更新模型参数以最小化损失函数。它们有不同的特点和适用场景： 1. SGD（随机梯度下降）： - 优点：简单、易于理解和实现。 - 缺点：收敛速度相对较慢，可能会陷入局部最优。 - 适用场景：较小规模的数据集、线性模型或浅层神经网络。 2. Adagrad（自适应梯度算法）： - 优点：自适应地调整每个参数的学习率，对稀疏数据和具有不同尺度的特征具有较好的适应性。 - 缺点：学习率在训练过程中会不断减小，可能导致训练过早停止。 - 适用场景：自然语言处理（NLP）等稀疏数据集、非凸优化问题。 3. Adam（自适应矩估计）： - 优点：结合了Momentum和RMSprop的优点，在不同的数据集上通常表现较好。 - 缺点：对于一些问题可能过度依赖于动量和自适应学习率。 - 适用场景：大规模数据集、复杂的深度神经网络。 总体而言，选择哪种优化器取决于具体的问题和数据集。在实践中，可以尝试不同的优化器，并根据模型的性能和收敛速度进行比较，选择最适合的优化器。
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

谢杨易

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值