ccc-New Optimizers for Deep Learning-Chung Ming Chien(3)

最新推荐文章于 2024-10-30 20:33:17 发布
最新推荐文章于 2024-10-30 20:33:17 发布
阅读量384 收藏
点赞数
分类专栏： 深度学习-李宏毅 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liubi32326/article/details/128959308
版权

不会涉及到Optimizers 的数学证明!

文章目录

Some Notations
  • θ t ： \theta_t： θt​：时间步长t的模型参数
  • ▽ L ( θ t ) o r   g t : \triangledown L(\theta_t)or \ g_t: ▽L(θt​)or gt​: θ t \theta_t θt​处的梯度(loss)，用于计算 θ t + 1 \theta_{t+1} θt+1​
  • m t + 1 : m_{t+1}: mt+1​:从第0步累计到第t步的动量（压缩），用于计算 θ t + 1 \theta_{t+1} θt+1​

神经网络架构：On-line
在这里插入图片描述
神经网络架构：Off-line
在这里插入图片描述

Different Optimizers
SGD

在这里插入图片描述
首先计算 θ 0 \theta_{0} θ0​的gradient，由于要最小的L，所以是往反方向走，依次重复这个步骤直到t时刻 ▽ L ( θ t ) \triangledown L(\theta_t) ▽L(θt​)计算达到设定阈值

SGD with Momentum（SGDM）

在这里插入图片描述
引入动量Momentum后，每次除了计算当前点的梯度外，还要将上一次移动的方向考虑进来，这样可以学习接触的范围更大，不一定会卡在局部最低点，形象图表示如下：
在这里插入图片描述

Adagrad

w t + 1 ← w t − η t σ t g t w^{t+1}\leftarrow w^t-\frac{\eta^t}{\sigma^t}g^t wt+1←wt−σtηt​gt
其中， η t \eta^t ηt一般选择 η t + 1 \frac{\eta}{\sqrt{t+1}} t+1 ​η​, σ t \sigma^t σt表示参数w之前偏导数（ g i g^i gi）的均方根，所以可以化简：
w t + 1 ← w t − η t + 1 1 t + 1 ∑ i = 0 t ( g i ) 2 g t = w t − η ∑ i = 0 t ( g i ) 2 g t w^{t+1}\leftarrow w^t-\frac{\frac{\eta}{\sqrt {t+1}}}{\sqrt{\frac{1}{t+1}\sum_{i=0}^{t}(g^i)^2}}g^t\\ =w^t-\frac{\eta}{\sqrt{\sum_{i=0}^{t}(g^i)^2}}g^t wt+1←wt−t+11​∑i=0t​(gi)2 ​t+1 ​η​​gt=wt−∑i=0t​(gi)2 ​η​gt
这里两位老师对算法的说法有一点点区别，这里说明一下：

  • 李宏毅老师上节课用二次函数的最佳间隔分子应该是二次微分举例，让分子为 ∑ i = 0 t ( g i ) 2 \sqrt{\sum_{i=0}^{t}(g^i)^2} ∑i=0t​(gi)2 ​是在不改变计算量的情况下作为二次微分的估计提高效率
  • 这节课的老师表达的是，当之前的偏导计算小的时候增强增加效率，计算大的时候削弱防止错过
RMSProp

w t + 1 ← w t − η v t g t w^{t+1}\leftarrow w^t-\frac{\eta}{\sqrt v_t}g^t wt+1←wt−v ​t​η​gt
其中， v 1 = g 0 2 v_1=g_0^2 v1​=g02​, v t = α v t − 1 + ( 1 − α ) ( g t − 1 ) 2 v_t=\alpha v_{t-1}+(1-\alpha)(g_{t-1})^2 vt​=αvt−1​+(1−α)(gt−1​)2。目的是解决Adagrad算法中如果开始求的微分很大导致计算特别缓慢的问题

Adam

在这里插入图片描述
m t 1 − β 1 t \frac {m_t}{1-\beta_1^t} 1−β1t​mt​​和 v t 1 − β 2 t \frac {v_t}{1-\beta_2^t} 1−β2t​vt​​的计算是为了de-biasing

Optimizers: Real Application

市面上几乎所有的模型都被ADAM和SGDM占有了，具体的有

  • ADAM:Tacotron、Transformer、BER、Big-Gan、MAML…
  • SGDM：Mask R-CNN、YOLO、ResNe…

实际上，自从2014年Adam问世之后，几乎没有更加优秀的Optimizers出现，市场也可以体现这个问题，接下来就重点关注这两个算法！

Adam vs SGDM

在这里插入图片描述
在这篇文章中通过实验证明SGDM并不逊色Adam，通常认为二者特点如下：

  • Adam：fast training, large generalization gap, unstable
  • SGDM：stable, little generalization gap, better convergence

当然，有人尝试先使用收敛快的Adam再切换成稳定的SGDM，称作SWATS算法，简单示意图如下
在这里插入图片描述
但是作者并没有清楚的解释实际优化多少，但也是不错的尝试

Towards Improving Adam

从它的公式中 β 2 \beta_2 β2​=0.999与梯度相乘可以得出， v t v_t vt​的记忆可以持续1000步。所以如果训练的某个阶段大多数梯度计算都较小，如果突然出现较大的梯度会导致从移动的不够快。基于这个问题有两个改进的算法：

AMSGrad

θ t = θ t − 1 − η v ^ t + ε m t v ^ t = m a x ( v ^ t − 1 , v t ) \theta_t=\theta_{t-1}-\frac{\eta}{\sqrt {\hat v_t}+\varepsilon}m_t \\ \hat v_t=max(\hat v_{t-1},v_t) θt​=θt−1​−v^t​ ​+εη​mt​v^t​=max(v^t−1​,vt​)
特点：

  • 减少非信息梯度的影响
  • 学习率单调递减
  • 只解决了large learning rates 的问题
AdaBound

θ t = θ t − 1 − C l i p ( η v ^ t + ε ) m ^ t C l i p ( x ) = C l i p ( x , 0.1 − 0.1 ( 1 − β 2 ) t + 1 , 0.1 + 0.1 ( 1 − β 2 ) t ) \theta_t=\theta_{t-1}-Clip(\frac{\eta}{\sqrt {\hat v_t+\varepsilon}})\hat m_t \\ Clip(x)=Clip(x,0.1-\frac{0.1}{(1-\beta_2)t+1},0.1+\frac{0.1}{(1-\beta_2)t}) θt​=θt−1​−Clip(v^t​+ε ​η​)m^t​Clip(x)=Clip(x,0.1−(1−β2​)t+10.1​,0.1+(1−β2​)t0.1​)
特点：

  • 工程向，不够优美
  • 抽象难懂
Towards Improving SGDM

对它的改进就是加速它收敛的速率，下面介绍几种改进方式：

LR range test

在这里插入图片描述
简单的说就是调整learning rate

Cyclical LR

在这里插入图片描述
周期性的改变learning rate

SGDR

在这里插入图片描述
同上，但是变法略不同

One-cycle LR

在这里插入图片描述
learning rate的变化只有一个cycle，分三个阶段

warm-up的影响
在这里插入图片描述
实验表明，开始的10步没有warm-up会受到较大的扰乱。形象图表示如下：
在这里插入图片描述

基于warm-up改进的RAdam

在这里插入图片描述
训练初期的时候，切换到SGD + Momentum进行预热

RAdam vs SWATS

在这里插入图片描述

k step forward, 1 step back
Lookahead

在这里插入图片描述
可以使用 Lookahead 加强已有最优化方法的性能,Lookahead 首先使用内部循环中的 SGD 等标准优化器，更新 k 次「Fast weights」，然后以最后一个 Fast weights 的方向更新「slow weights」
在这里插入图片描述

  • Lookahead 向高曲率方向振荡时，fast weights 更新在低曲率方向上快速前进，slow weights 则通过参数插值使振荡平滑
  • fast weights 和 slow weights 的结合改进了高曲率方向上的学习，降低了方差，使得 Lookahead 在实践中实现更快的收敛
  • Lookahead 提升收敛效果。当 fast weights 在极小值周围慢慢探索时，slow weight 更新促使 Lookahead 激进地探索更优的新区域，从而使测试准确率得到提升
Can we look into the future?
Nesterov accelerated gradient (NAG)

计算“超前梯度”更新冲量项

Adam in the future:Nadam&SGDM

在这里插入图片描述

Do you really know your optimizer?
A story of L2 regularization…

在这里插入图片描述
是否需要最后面的正则项？

AdamW & SGDW with momentum

在这里插入图片描述
实验证实去掉后效果更好

Something helps optimization…

在这里插入图片描述在这里插入图片描述在这里插入图片描述

learned &Advices

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

扔出去的回旋镖
关注
专栏目录
AIGC实战——深度学习 (Deep Learning, DL)
盼小辉丶的博客
10-25 6万+
深度学习 (Deep Learning, DL) 是贯穿所有生成模型 (Generative Model) 的共同特征，几乎所有复杂的生成模型都以深度神经网络为核心，深度神经网络能够学习数据结构中的复杂关系，而不需要预先提取数据特征。在本节中，我们将介绍深度学习基本概念，并利用 Keras 构建深度神经网络。
“Physics-based Deep Learning”学习笔记(1)
RMG的专栏
09-30 2828
“Physics-based Deep Learning”学习笔记1 可微分物理学(Differentiable physics(DP)) 基于物理的深度学习，其本质是应用某个特定领域内的模型方程，将其离散化之后的方程整合进深度学习的训练过程。正如其名称中所提到的“可微分”，拥有可微分的公式对于训练神经网络至关重要。 接下来，我们通过一个粒子来了解基于DP的深度学习。 假设存在一个未知的函数f∗：X→Yf^{*}：X \rightarrow Yf∗：X→Y(通常用∗*∗的上标来表示理想或者未知的函数，而可离
Double Deep Q-Learning Netwok的理解与实现
Erick Lv的笔记
04-11 2791
理论简介 Double Deep Q-Learning Netwok (DQN)，基础理论来自于这篇论文。基础理论部分，参考这篇笔记和这篇笔记。下面给出最核心的强化学习公式： YtDoubleQ=Rt+1+γQ^(St+1,argmaxaQ(St+1,a)) Y_{t}^{DoubleQ} = R_{t+1}+\gamma \hat{Q}\left(S_{t+1},\mathop{argmax}_...
ChatGPT技术原理解析：从RL之PPO算法、RLHF到GPT4、instructGPT
热门推荐
结构之法 算法之道
01-15 19万+
本篇ChatGPT笔记会全力做到，通俗易懂且循序渐进(尽最大努力让每一个初学者哪怕是文科生都能没有障碍的读懂每一字一句、每一个概念、每一个公式) 一方面，对于想了解ChatGPT背后原理和如何发展而来的，逐一阐述从GPT/GPT2/GPT3到强化学习、PPO算法，最后再到instructGPT、ChatGPT、SeqGAN 且本文之前，99%的文章都不会把PPO算法从头推到尾，本文会把PPO从零推到尾，按照“RL-策略梯度-重要性采样(重要性权重)-TRPO(增加信任区域和KL散度约束)-PPO”的顺序逐步
Meta-Learning 论文
德米安
11-24 2942
Meta Learning/ Learning to Learn/ One Shot Learning/ Lifelong Learning 转自github:       https://github.com/floodsung/Meta-Learning-Papers 1 Legacy Papers [1] Nicolas Schweighofer and Kenji Doya. Met...
改进3D/2D U-NET--添加深度监督deep supervision【Keras】
m0_37477175的博客
09-18 1万+
前言 深度监督deep supervision（又称为中继监督intermediate supervision），其实就是网络的中间部分新添加了额外的loss，跟多任务是有区别的，多任务有不同的GT计算不同的loss，而深度监督的GT都是同一个GT，不同位置的loss按系数求和。 深度监督的目的是为了浅层能够得到更加充分的训练，避免梯度消失（ps:好像目前的技术已经使梯度消失得到了解决，像Relu...
Deep Q-Learning算法解决Cartpole(倒立摆)游戏
CaptainChen的博客
08-11 2296
倒立摆Cartpole-v1 简介 倒立摆为一个小车和一个杆通过轴连接，杆在初始时稍有偏离垂直线，在重力作用下会倒下，游戏目的是通过左右控制小车（施加左右的力）来避免杆的倒下。 API 获取初始状态 env = gym.make("CartPole-v1") state = env.reset() state为一个包含4个元素的list，分别表示小车位置，小车速度，杆的角度，杆的角速度，具体范围如下 Type: Box(4) Num Observation Min
Emojify – Create your own emoji with Deep Learning 通过深度学习创建你自己的表情
百年孤独百年的博客
01-04 1746
Emojify – Create your own emoji with Deep Learning 通过深度学习创建你自己的表情 本文旨在描述源代码运行中出现的问题，并给出解决方法。
WHEN NOT TO USE DEEP LEARNING
GavinZhou的博客
07-13 1252
转载自: http://hyperparameter.space/blog/when-not-to-use-deep-learning/I know it’s a weird way to start a blog with a negative, but there was a wave of discussion in the last few days that I think serves
Deep Learning Meets SAR
weixin_41697507的博客
07-16 7615
Deep Learning Meets SAR Abstract Deep learning in remote sensing has become an international hype, but it is mostly limited to the evaluation of optical data. Although deep learning has been introduced in SAR data processing, despite successful first attemp
deeplearning4j-examples：Deeplearning4j示例（DL4J，DL4J Spark，DataVec）
02-05
Deeplearning4j（DL4J）是Java和Scala中的一款开源深度学习库，它使得在Java生态系统中构建和部署神经网络成为可能。这个压缩包文件"deeplearning4j-examples"包含了DL4J的示例代码，帮助开发者更好地理解和使用这个...
annotated_deep_learning_paper_implementations::brain: 深度学习论文的实现教程，附有并排注释； 包括转换器（原始、xl、开关、反馈、vit）、优化器（adam、radam、adabelief）、gans（dcgan、cyclegan、stylegan2）、强化学习（ppo、dqn）、capsnet、蒸馏等
08-03
这是神经网络和相关算法的简单 PyTorch 实现的集合。 这些实现都记录在案，并附有说明， 将它们呈现为并排格式的笔记。 我们相信这些将帮助您更好地理解这些算法。 我们几乎每周都在积极维护这个 repo 并添加新的...
李宏毅老师机器学习2020学习笔记与思考（五）New Optimizers for Deep Learning
weixin_45574006的博客
01-21 246
New Optimizers for Deep Learning Some Notations θt\theta_{t}θt​: 第t步的模型参数 ∇L(θt)\nabla L(\theta_{t})∇L(θt​)或gtg_{t}gt​: θt\theta_{t}θt​处的梯度，常用来计算θt+1\theta_{t+1}θt+1​ mt+1m_{t+1}mt+1​: 从第0步到第t步的累积momentum，常用来计算θt+1\theta_{t+1}θt+1​ ...
【学习笔记5】New Optimizers for Deep Learning（1） 深度学习的优化方法
jgtzfcfzyc的博客
02-16 329
  （一）Background Knowledge   1、SGD算法   2、SGDM算法 用上一步的movement - 在此点的梯度，得到在此点上的movement   momentum就是一个惯性，使加速度为0（即梯度为0）时，仍可以往前移动，避免了梯度消失。（相当于有一个惯性指数）   3、Adagrad自适应梯度算法 当gradient突然变得很大时（较陡峭），学习率就变得很小，避免梯度爆炸；当gradient突然变得很小时（较平
Python 使用 LSTM 进行情感分析：处理文本序列数据的指南
chusheng1840的博客
10-29 1346
LSTM（Long Short-Term Memory）是一种特殊的循环神经网络（RNN），其结构设计使其能够“记住”较长的序列信息。传统 RNN 在处理长序列数据时容易出现“梯度消失”或“梯度爆炸”的问题，而 LSTM 引入了“遗忘门”、“输入门”和“输出门”结构，使其能够在较长的时间跨度内保持记忆。情感分析是一种自然语言处理（NLP）技术，用于分析文本中表达的情绪。通过情感分析，我们可以将一段文本标记为正面、负面或中性等类别。
深度学习之激活函数
最新发布
weixin_43775295的博客
10-30 1076
PiexpθiTx∑k1KexpθiTxPi∑k1K​expθiT​xexpθiT​x​​ 其中，$ \theta_i $ 和 $ x $ 是列向量，$ \theta_i^T x $ 可能被换成函数关于 $ x $ 的函数 $ f_i(x) $​ 通过 softmax 函数，可以使得 $ P(i) $ 的范围在 $ [0,1] $ 之间。
引入了窥视孔连接（peephole connections）的LSTM
m0_73640344的博客
10-29 610
通过引入窥视孔连接，LSTM能够更加精确地控制信息流，因为每个门都可以根据细胞状态的即时值进行调整。这种设计不仅增强了模型的性能，尤其是在需要精细控制内部状态记忆的应用中，如复杂的序列预测和模式识别任务，也提高了决策过程的透明度和直观性。
深入探索：深度学习在时间序列预测中的强大应用与实现
平凡程序猿~的博客
10-28 3434
随着深度学习的快速发展，循环神经网络（RNN）、长短期记忆网络（LSTM）、门控循环单元（GRU）、卷积神经网络（CNN）以及Transformer模型逐步应用到时间序列分析中，并取得了较好的结果。下面将详细介绍这些模型的原理、优势、不足以及实际应用中的代码示例。
深度学习：梯度下降算法简介
m0_73640344的博客
10-29 1267
在深度学习的训练过程中，梯度下降算法（Gradient Descent，简称GD）扮演着至关重要的角色。这一算法的核心机制是利用数据集的梯度信息来迭代更新模型参数，以最小化损失函数。接下来，我们将详细讨论其各种变体和进化。1. 随机梯度下降（SGD）由于全批量的梯度下降在面对大规模数据集时会受到内存限制和迭代速度的制约，学者们提出了随机梯度下降（Stochastic Gradient Descent，SGD）。这种方法每次迭代仅使用数据集中的一个小批量样本来计算梯度和更新参数。
nature-inspired optimizers.pdf
11-02
《nature-inspired optimizers.pdf》是一篇关于自然启发式优化算法的论文。自然启发式优化算法是一种通过模拟自然界中生物进化、动物行为或生态系统等自然现象来解决优化问题的方法。该论文介绍了几种常用的自然启发...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值