Optimization for Deep Learning

最新推荐文章于 2024-07-27 12:20:46 发布
最新推荐文章于 2024-07-27 12:20:46 发布
阅读量117 收藏
点赞数
分类专栏： NTU Machine Learning 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45046318/article/details/120634817
版权

待更

SGD with Momentum

在这里插入图片描述
在这里插入图片描述
拉姆打 是 hyperparameter ，有利于跳过local minima

Adagrad

在这里插入图片描述
在learning rate 下方加入了分母，也就是在sum of gradient 小的时候，可以有较大的learning rate。

RMSProp

在这里插入图片描述
有些类似于Adagrad ，但是计算的方式不太一样，防止由于前几步的gradient 太大而导致训练失败

Adam

在这里插入图片描述

Summary

在这里插入图片描述

Adam vs SGDM

在这里插入图片描述

Combine (SWATS)

在这里插入图片描述

Improve Adam

AMSGrad

在这里插入图片描述
在这里插入图片描述
AMSGrad 会出现类似于Adagrad相同的问题

improve SGDM

在这里插入图片描述
learning rate 随着周期在LR range 之间直接进行切换，调整，既到你求的一则parameter 很好的时候不会容易丢失。

在这里插入图片描述
在这里插入图片描述

warm up for adam

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
RAdam解决的问题是，当一开的较少的gradient 的 adapt 效果不好，所以说一开始要提供较小的learning rate 。

Lokkahead

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

NAG（SGDM的超前部署）

在这里插入图片描述
NAG 就是超前计算，超前部署

Adam的超前部署

在这里插入图片描述

Somethine helps optimization

在这里插入图片描述
Shuffling ： 对data set进行打乱
Dropout：
Gradient noise ：对Gradient noise 增加扰动

在这里插入图片描述
在这里插入图片描述

SGDM vs Adam

在这里插入图片描述

Applicaton advices for Opitimizer

在这里插入图片描述

「已注销」
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Optimization in deep learning
weixin_43138233的博客
12-10 262
Optimization in deep learning Optimization Gradient Descent (Bath gradient descent, Stochastic gradient descent, min-bath gradient descent) Momentum Method and the Nesterov Variant Adaptive Learning ...
深度学习(3)：Optimization for Deep Learning
JJJJJJames的博客
01-12 317
SGDM的意义：当梯度接近为0时，可以保证θ\thetaθ继续移动不会停止。避免梯度下降在局部最小值停留 adagrad通过将学习率除以之前每个时刻梯度的和保证步长在梯度较大时，不会太大从而超过局部最小值。 如果梯度太大，可能使学习率变得很小，下降不明显，引入RMSProp 在快收敛的时候,即损失函数要接近于全局最小值时使用SGDM 由于在adam中，每次移动的距离会被前一个时刻梯度的大小所影响，当前一个值很小，此时刻的梯度又很大时，它实际的移动距离远小于之前若干...
Optimization for DeepLearning
hlfwmqd的专栏
09-22 143
New Optimizaiton 在Deep learning环境下，不管你有再强的guarentee才会converge都是不够用的。
deeplearning Note:Optimization
taotao 的大学墓志
08-27 2171
作者：dylanFrank(滔滔) 这是deeplearning.ai的第二周，这周讲的是优化，这周其实有很多东西并不是很懂，个人结合了《deeplearning》 这本书来自己理了一下，同时也本着迅速入门的想法就没有想那么多，现将其知识整理如下: mini-batch gradient descent momentum RMSprop adam learning rate decay 本质上来说，
李宏毅——Optimization for Deep Learning
zzhhjjjj的博客
11-02 249
1
DeepSpeed System Optimizations Enable Training Deep Learning
10-23
DeepSpeed: System Optimizations Enable Training Deep Learning Models with Over 100 Billion Parameters
Deep_learning_for_molecular_generation_and_optimization.pdf
03-19
Deep_learning_for_molecular_generation_and_optimization Daniel C. Elton
placement optimization with deep reinforcement learning.pdf
04-01
This paper use deep reinforcement learning to complish placement optimization. It is opportunity and challenge to physical design engineer. So I will do it from a interpreter.
Deep learning
07-27
It describes deep learning techniques used by practitioners in industry, including deep feedforward networks, regularization, optimization algorithms, convolutional networks, sequence modeling, and ...
Deep Learning：Optimization for Training Deep Models（二）
蚊子爱牛牛的博客
10-31 396
Optimization for Training Deep Models
Deep Learning 10: Optimization
weixin_30875157的博客
06-29 172
转载于:https://www.cnblogs.com/wordchao/p/9241650.html
Deep Learning：Optimization for Training Deep Models(零)
蚊子爱牛牛的博客
10-26 416
Deep Learning：Optimization for Training Deep Models
李宏毅机器学习笔记3-Optimization for Deep Learning
singxsy的博客
10-22 396
Background Knowledge μ−strong convexity\mu-strong \ convexityμ−strong convexity Lipschitz continuity Lipschitz \ continuityLipschitz continuity Bergman proximal inequality Bergman\ proximal\ inequalityBergman proximal&nb
2020李宏毅学习笔记——5.Optimization for Deep Learning
weixin_44554337的博客
06-05 803
一：概述 当你想训练好一个神经网络时，你需要做好三件事情：一个合适的网络结构，一个合适的训练算法，一个合适的训练技巧： 合适的网络结构：包括网络结构和激活函数，你可以选择更深的卷积网络，然后引入残差连接。可以选择relu做为激活函数，也可以选择tanh，swish等。 合适的训练算法：通常采用SGD，也可以引入动量和自适应学习速率，也许可以取得更好的效果。 　合适的训练技巧：合理的初始化，对于较深的网络引入残差连接，归一化等操作。 二：SGD 三：SGD with Momentum 动量梯度下降法的一个本质
李宏毅学习笔记 optimization for deep learning
weixin_45568353的博客
10-21 217
一
深度学习中那些常用的优化方法:从SGD到Adam
要相信光
07-21 1701
文章目录参考资料SGD with Momentum(SGDM)AdagradRMSPropAdamSGDM vs AdamTowards Improving AdamAMSGradAdaBoundToward Improving SGDMCyclical LRSGDROne-cycle LRAdam Need Warm-upRAdamLookaheadNesterov accelerated gradient(NAG)NadamL2 regurization or Weight decay?Somethin
快醒醒，别睡了!...讲《数据分析pandas库》了—/—＜4＞
最新发布
qq_64603703的博客
07-27 662
详细解说数据分析pandas库中的常用方法
随机数种子的作用
帆的博客
07-23 1308
设置随机数种子（random seed）的目的是为了确保随机数生成器在每次运行时产生相同的随机数序列，从而保证实验结果的一致性。随机数种子通过初始化随机数生成器的内部状态，使得在相同的种子值下，随机数生成器每次调用时生成的序列是相同的。
详细介绍《Deep Reinforcement Learning for Multiobjective Optimization》
09-13
《Deep Reinforcement Learning for Multiobjective Optimization》是一篇学术论文，主要研究了如何使用深度强化学习来解决多目标优化问题。 多目标优化是一类常见的优化问题，其中需要同时考虑多个目标。例如，在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值