【学习笔记5】New Optimizers for Deep Learning（1） 深度学习的优化方法

最新推荐文章于 2023-06-30 04:35:08 发布
最新推荐文章于 2023-06-30 04:35:08 发布
阅读量292 收藏
点赞数
文章标签： 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jgtzfcfzyc/article/details/113803187
版权

文章目录


 

（一）Background Knowledge

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
 

（二）Five New Optimizers

1、SGD算法

在这里插入图片描述
 

2、SGDM算法

用上一步的movement - 在此点的梯度，得到在此点上的movement
在这里插入图片描述
 
momentum就是一个惯性，使加速度为0（即梯度为0）时，仍可以往前移动，避免了梯度消失。（相当于有一个惯性指数）
在这里插入图片描述
在这里插入图片描述
 

3、Adagrad自适应梯度算法

当gradient突然变得很大时（较陡峭），学习率就变得很小，避免梯度爆炸；当gradient突然变得很小时（较平缓），学习率就变得很大，避免梯度消失
在这里插入图片描述
 

4、RMS Prop算法

与Adagrad自适应梯度算法唯一的区别就是：分母不同
RMS Prop算法中的分母类似于momentum中防止梯度消失的算法
Adagrad中的分母是对之前的梯度求和，会无止境地累加。当一开始的gradient很大时，

最低0.47元/天 解锁文章
我真的太下饭唠
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习中的优化方法
浅梦的学习笔记
10-03 1万+
本文介绍了深度学习中优化的若干问题，包括小批量梯度下降，SGD和动量方法，自适应学习率算法，二阶近似算法，批标准化和坐标下降等
swats:在PyTorch中非官方实现从Adam切换到SGD优化
05-02
从Adam切换到SGD 表明：“即使在自适应解决方案具有更好的训练性能的情况下，通过自适应方法发现的解决方案的普遍性也比SGD差（通常显着更差）。这些结果表明，从业者应该重新考虑使用自适应方法来训练神经网络。 ” “来自的SWATS，这是ICLR在2018年获得的高分论文，该方法被提议自动从Adam切换到SGD，以获得更好的泛化性能。该算法本身的想法非常简单。它使用Adam，尽管调整得很少，但学习到一定阶段后，由SGD接管。 ” 用法 直接从此git存储库或从pypi使用以下任一命令从pip即可直接安装软件包。 pip install git+https://github.com/Mrpatekful/swats pip install pytorch-swats 安装后，可以将SWATS用作任何其他torch.optim.Optimizer 。 以下代码段简要介绍了如何使用该算
PyTorch Cookbook（常用代码段整理合集）
风中落泪的花
05-14 707
https://zhuanlan.zhihu.com/p/59205847?
梯度下降学习率的设定策略
热门推荐
得克特
04-23 1万+
发现一篇写的很好的关于学习率的文章 本文转载自卢明冬的博客-梯度下降学习率的设定策略 1.学习率的重要性 1）学习率设置太小，需要花费过多的时间来收敛 2）学习率设置较大，在最小值附近震荡却无法收敛到最小值 3）进入局部极值点就收敛，没有真正找到的最优解 4）停在鞍点处，不能够在另一维度继续下降 梯度下降算法有两个重要的控制因子：一个是步长，由学习率控制；一个是方向，由梯度指定。 2.学习率的设定...
SGD算法的优化特性及其在深度学习中的应用(OptimizationPropertiesandApplicat
最新发布
禅与计算机程序设计艺术
06-30 6747
作者：禅与计算机程序设计艺术 SGD算法的优化特性及其在深度学习中的应用 SGD（Stochastic Gradient Descent）算法作为深度学习中最常用的优化算法之一，具有较好的全局收敛速度和稳定性。然而，在某些场景下，SGD算法的训练效率和泛化能力仍有待
[机器学习]Lecture 2(Extra Material)：Beyond Adam
zzz_qing的博客
04-07 67
之前有比较过为什么要把Adagrad换成RMSProp，因为Adagrad的分母是monotonic increasing，所以它最后会越走越少，如果Adagrad的gradient一开始增长太快的话，可能没走几步就走不动了。Adam中使用的RMSProp解决了上述问题，但是在AMSGrad中又使用了Adagrad的思想，走了回头路，所以AMSGrad可能不是一个非常好的解法。法一：AMSGrad，这个方法和Adagrad的思路很像，它只处理了Learning rate太大时候的情况。
随机梯度下降算法SGD（Stochastic gradient descent）
weixin_40170393的博客
03-14 8227
随机梯度下降SGD stochastic gradient descent
Salesforce提出SWATS：训练中自动由Adam切换为SGD而实现更好的泛化性能
机器之心
12-27 3699
在 ICLR 2018 的高分论文中，有研究者表明因为历史梯度平方的滑动平均值，Adam 等算法并不能收敛到最优解，因此它在泛化误差上可能要比 SGD 等方法差。最近 Salesforce 的研究者提出了一种转换机制，他们试图让算法在训练过程中自动由 Adam 无缝转换到 SGD 而保留两种优化算法的优良属性。 随机梯度下降（
回归模型与房价预测
weixin_30585437的博客
12-06 381
from sklearn.datasets import load_boston boston = load_boston() boston.keys() print(boston.DESCR) boston.data.shape boston.feature_names import pandas as pd df = pd.DataFrame(boston.d...
优化：深度学习优化算法
女王の专属领地
11-06 943
1、mini-batch http://blog.csdn.net/fuwenyan/article/details/53914371 http://blog.csdn.net/kebu12345678/article/details/54917600 http://m.blog.csdn.net/u010402786/article/details/51188876 http
SWATS算法剖析（自动切换adam与sgd）
weixin_30853329的博客
09-12 1032
SWATS算法剖析（自动切换adam与sgd） 战歌指挥官 搬砖、码砖、代查水表.... 27 人赞同了该文章 SWATS是ICLR在2018的高分论文，提出的一种自动由Adam切换为SGD而实现更好的泛化性能的方法。 论文名为Improving Generalization Performance b...
神经网络优化算法：Dropout、梯度消失/爆炸、Adam优化算法，一篇就够了！
mantch
08-19 3724
1. 训练误差和泛化误差 机器学习模型在训练数据集和测试数据集上的表现。如果你改变过实验中的模型结构或者超参数，你也许发现了：当模型在训练数据集上更准确时，它在测试数据集上却不⼀定更准确。这是为什么呢？ 因为存在着训练误差和泛化误差： **训练误差：**模型在训练数据集上表现出的误差。 **泛化误差：**模型在任意⼀个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。 训练...
深度学习的优化方法
最白の白菜的博客
02-19 2575
优化方法深度学习的优化方法梯度下降算法反向传播算法（BP算法）前向传播与反向传播链式法则反向传播算法梯度下降优化方法动量算法（Momentum）指数加权平均动量梯度下降算法AdaGradRMSpropAdam学习率退火分段常数衰减指数衰减1/t衰减总结 深度学习的优化方法 学习目标 知道梯度下降算法 理解神经网络的链式法则 掌握反向传播算法（BP算法） 知道梯度下降算法的优化方法 了解学习率退火 梯度下降算法 梯度下降法简单来说就是一种寻找使损失函数最小化的方法。大家在机器学习阶段已经学过该算法，所以
深度学习的各种优化方法
Facico的博客
09-22 748
深度学习的各种优化方法 优化方法就是一种能够帮助我们最小化或最大化目标函数(损失函数)的一类方法 一个好的优化方法往往能更加高效。更加精确的训练模型的内参 优化算法的种类 1、一阶优化方法：常用 2、二阶优化方法：计算量大，不常用 各种梯度下降法 1、Gradient Descent 梯度下降法是很多其他方法的基础 θ=θ−ηΔJ(θ) \theta=\theta-\eta\Delta J(\theta) θ=θ−ηΔJ(θ) J(θ)J(\theta)J(θ)是整个数据集上进行计算得到的 由于算
【6】深度学习优化方法
j_qin的博客
11-25 531
5.1、梯度下降算法 梯度下降就是一种寻找使得损失函数最小化的方法。 E损失函数，W权重，η学习率，如果学习率过小训练的成本就会增加，如果学习率过大可能会跳过最优解。所以学习率也需要根据训练的进行而变化。 5.1.1、梯度下降算法分类 根据在进行迭代时使用的样本数量，将梯度下降算法分为3类： 5.2、反向传播算法（BP算法） 利用反向传播算法对神经网络进行训练，该方法与梯度下降算法相结合，对网络中所有权重计算损失函数的梯度，并利用梯度值来更新权值以最小化损失函数。 5.2.1、前向传播..
总结整理之深度学习中的最优化方法
加油
10-11 4162
最优化问题在机器学习/深度学习中是经常遇到的问题，也是很重要的一个问题。学习算法的本质都是建立优化模型，通过最优化方法对目标函数（或损失函数）进行优化，从而训练出最好的模型。常见的最优化方法主要有以下几种。 一、梯度下降法 1.1 标准梯度下降法（Batch Gradient Descent） 参数更新： 其中： 梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最...
深度学习中的优化器原理总结（经典+前沿）
qq_42514662的博客
10-22 3491
目录 前言 一、梯度下降的思想与批梯度下降法 1.随机梯度下降法 2.标准梯度下降法 3.批梯度下降法 二、经典的五类优化器 1.SGD 2.SGD with momentum(SGDM) 3.Adagrad 4.RMSProp 5.Adam 三、前沿方法 1.AMSGrad 2.AdaBound 3.SWAT 4.Cyclical LR/SGDR/One-cycle LR 5.RAdam 6.Lookahead 7.SGDWM/AdamW 8.一些帮助优化的方法 .
深度学习基础-优化算法详解
Gefangenes的博客
06-09 1409
所谓深度神经网络的优化算法，即用来更新神经网络参数，并使损失函数最小化的算法。优化算法对于深度学习非常重要，如果说网络参数初始化（模型迭代的初始点）能够决定模型是否收敛，那优化算法的性能则直接影响模型的训练效率。了解不同优化算法的原理及其超参数的作用将使我们更有效的调整优化器的超参数，从而提高模型的性能。本文的优化算法特指: 寻找神经网络上的一组参数 θ，它能显著地降低损失函数 J(θ)，该损失函数通常包括整个训练集上的性能评估和额外的正则化项。本文损失函数、目标函数、代价函数不严格区分定义。
常用深度学习模型调优方法
archimekai的博客
09-03 5075
常用调优建议 数据优化 确保各个分类中的样本数目相近 获取更多数据 归一化数据 对数据做变换以使数据服从均匀分布 算法优化 参考领域中的已有工作 优化模型中每一层的大小 模型层数的选择和优化 权重初始值的选择和优化 激活函数的选择和优化 优化器的选择和优化 早停法 超参优化 学习率的选择和优化 batch size的选择和优化 学习率和batch size的联合优化 动量值的选择和优化 权重衰减参

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值