Lecture 2_Extra Optimization for Deep Learning

最新推荐文章于 2024-10-31 19:02:23 发布
最新推荐文章于 2024-10-31 19:02:23 发布
阅读量112 收藏
点赞数
分类专栏： 2022 Spring 李宏毅ML 文章标签： 深度学习 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yi_cAt/article/details/126600576
版权

Lecture 2_Extra Optimization for Deep Learning

文章目录

New Optimizers for Deep Learning

What you have known before?

image-20220828115340388
  • SGD
image-20220828111715973
  • SGD with momentum (SGDM)
image-20220828112833716
  • Adagrad
image-20220828114131817
  • RMSProp
image-20220828114209064
  • Adam
image-20220828115045206

Some Notations

image-20220828102119813

What is Optimization about?

image-20220828102606552

On-line vs Off-line

image-20220828102924761 image-20220828102954855

Optimizers: Real Application

image-20220828143739812 image-20220828143825424 image-20220828145006618

Adam vs SGDM

Original article

image-20220828145449421 image-20220828145827211 image-20220828150017210 image-20220828150048761 image-20220828150403372

Towards Improving Adam

Simply combine Adam with SGDM?

image-20220828151130217

Trouble shooting

怎么样让 Adam 收敛得又快又好？

image-20220828151808265 image-20220828151855459

AMSGrad [Reddi, et al., ICLR’18]

image-20220828152127255 image-20220828152153806

AMSGrad only handles large learning rates

AdaBound [Luo, et al., ICLR’19]

image-20220828152954768

Towards Improving SGDM

image-20220828153416918

LR range test [Smith, WACV’17]

image-20220828153512849

Cyclical LR [Smith, WACV’17]

image-20220828153623183

SGDR [Loshchilov, et al., ICLR’17]

image-20220828153950767

One-cycle LR [Smith, et al., arXiv’17]

image-20220828154126394

Does Adam need warm-up?

image-20220830094440492 image-20220830094718417

RAdam [Liu, et al., ICLR’20]

image-20220830094906156
RAdam vs SWATS
image-20220830095437316

k k k step forward, 1 1 1 step back

Lookahead [Zhang, et al., arXiv’19]

image-20220830100541476 image-20220830100732973

More than momentum

Nesterov accelerated gradient (NAG) [Nesterov, jour Dokl. Akad. Nauk SSSR’83]

image-20220830101415480 image-20220830101804986

Adam in the future

image-20220830102655748

Do you really know your optimizer?

A story of L 2 L_2 L2​ regularization

image-20220830102917903

AdamW & SGDW with momentum [Loshchilov, arXiv’17]

image-20220830103753884

Something helps optimization

image-20220830104117026 image-20220830104135225 image-20220830104203207

Summary

image-20220830110110995 image-20220830111534114

Advices

image-20220830111802706
Yi_cAt
关注
专栏目录
Deep Learning 学习笔记
This is bill的专属博客
07-17 4403
一、文章来由好久没写原创博客了，一直处于学习新知识的阶段。来新加坡也有一个星期，搞定签证、入学等杂事之后，今天上午与导师确定了接下来的研究任务，我平时基本也是把博客当作联机版的云笔记~~如果有写的不对的地方，欢迎批评指正。二、《一天搞懂深度学习》300多页的PPT，台大教授写的好文章。 对应的视频地址1、Lecture I: Introduction of Deep Learning（1）mach
deeplearning.ai课程知识点整理
mikelkl的博客
12-29 4425
Neural Networks and Deep Learning Introduction to deep learning Neural Networks Basics Logistic Regression as a Neural Network Computation graph 神经网络的计算过程由正向传播（forward propagation ）来进行前向计...
[Coursera] Deep learning 系列课程作业的一些报错问题总结及作业资源
qq_27309515的博客
10-26 1962
Deep learning 系列课程作业的一些报错问题总结   相信有小伙伴和我一样，在使用网上下载下来的作业资源在本地环境进行运行的时候会有一些报错问题，我总结了一下我遇到的问题，并给出了详细的解决方法，希望能对看到这篇文章的小伙伴有所帮助。   这篇文章的部分内容来自：ImSEten 的这篇文章，但是由于有些问题他并没有解决，他也并没有更新完所有作业中遇到的报错问题，所有我还是重新整理了遇到的问题，同时我也会标记出从他那里 copy 过来的内容。 下载资源 修正后的空作业文件：（目前只包含了Course
deeplearning.ai课程作业：Course 2 Week 1
Will_Ye的博客
11-19 940
deeplearning.ai课程作业：Course 2 Week 1 Initialization Welcome to the first assignment of “Improving Deep Neural Networks”. Training your neural network requires specifying an initial value of the weights...
网上某位牛人的deep learning学习笔记汇总
热门推荐
Paul_Huang的专栏
06-27 1万+
目录(?)[-] 作者tornadomeet 出处httpwwwcnblogscomtornadomeet 欢迎转载或分享但请务必声明文章出处Deep learning一基础知识_1Deep learning二linear regression练习Deep learning三Multivariance Linear Regression练习Deep learning四logistic reg
(转) Learning Deep Learning with Keras
a1424262219的博客
05-03 574
Learning Deep Learning with Keras Piotr Migdał - blog ProjectsArticlesPublicationsResumeAboutPhotos Learning Deep Learning with Keras 30 Apr 2017•Piotr Migdał•[machine-learnin...
Deep Learning 课后作业笔记 | Course2 Week1 Part1
A.A的博客
02-04 575
Deep Learning | Coursera 课后作业笔记 作业源自：https://github.com/shahariarrabby/deeplearning.ai Regularization Welcome to the second assignment of this week. Deep Learning models have so much flexibility a
Deep learning笔记
Kylin-Xu的专栏
03-05 5333
Deep learning：一(基础知识_1)   出处：http://www.cnblogs.com/tornadomeet 欢迎转载或分享，但请务必声明文章出处。 　　前言: 　　最近打算稍微系统的学习下deep learing的一些理论知识，打算采用Andrew Ng的网页教程UFLDL Tutorial，据说这个教程写得浅显易懂，也不太长。不过在这这之前还是复习下m
deeplearning.ai-lecture2-week1-regularization-homework
12-12 376
Regularization Welcome to the second assignment of this week. Deep Learning models have so much flexibility and capacity that overfitting can be a serious problem, if the training dataset is not big
第二课:Improving Deep Neural Networks 第一周：编程作业: Regularization
肖泽的博客
03-24 1242
第二门课 改善深层神经网络：超参数调试、正则化以及优化(Improving Deep Neural Networks:Hyperparameter tuning, Regularization and Optimization) 第一周：编程作业: Regularization 本周课程笔记见：第一周：深度学习的实践层面(Practical aspects of Deep Learning) Re...
REINFORCEMENT LEARNING USING QUANTUM BOLTZMANN MACHINES利用量子波兹曼机进行强化学习
weixin_41697507的博客
07-07 1879
REINFORCEMENT LEARNING USING QUANTUM BOLTZMANN MACHINES Abstract. We investigate whether quantum annealers with select chip layouts can outperform classical computers in reinforcement learning tasks. ...
[CS231n Assignment 2 #01] 全连接神经网络(Fully-connected Neural Network)
qq_41341454的博客
04-11 5371
文章目录作业介绍1.Fully-Connected Neural Nets 架构2. 初始化作业环境3. 实现全连接层(Affine Layer)3.1 前向传播3.2 反向传播4. ReLU激活函数5. "Sandwich" layers6. 损失层(Loss Layer)7. 两层神经网络（Two-layer network）8. 优化器（Solver）8.1 Solver剖析8.2 实际训...
[综述笔记]Deep learning for brain disorder diagnosis based on fMRI images
Sherlily的博客
10-31 1125
计算机-人工智能-脑科学与类脑智能
深度学习-理论知识
qq_63961628的博客
10-31 335
深度学习（Deep Learning）是机器学习的一个子领域，它利用多层人工神经网络来模拟人脑的结构和功能，从而在复杂数据的分析、理解和生成上表现出色。深度学习是当前人工智能（AI）研究的核心技术之一，已广泛应用于图像识别、自然语言处理、自动驾驶等领域。下面，我将为你详细介绍深度学习的理论知识。
深度学习案例：一步步搭建多层神经网络以及应用
STRANGEX-03的博客
10-31 361
该案例来自吴恩达深度学习系列课程一《神经网络和深度学习》第四周编程作业，一步步搭建多层神经网络以及应用，作业内容是搭建一个能够识别猫的多层的神经网络。作业提供的资料包括：训练集、测试集、测试实例、神经网络工具包、加载数据的工具包，下载请移步参考链接一。
深度学习（九）：推荐系统的新引擎（9/10）
最新发布
小相探索IT世界
10-31 1479
深度学习在推荐系统中的应用为用户带来了更智能、更个性化的推荐体验。通过与推荐系统的融合，深度学习解决了传统推荐系统在处理大规模、高维度数据时的力不从心，以及冷启动和数据稀疏等问题。在应用方式上，各种 2vec 的应用、基于神经协同过滤的推荐以及在个性化推荐系统中的特征表示学习、序列模型和嵌入模型等，都为推荐系统的准确性和个性化提供了有力支持。构建深度学习推荐系统时，需要考虑整体框架与技术选择，如大数据框架和深度学习模型的选择。同时，通过具体案例分析，可以更好地理解深度学习在推荐系统中的实际应用。
引入了窥视孔连接（peephole connections）的LSTM
m0_73640344的博客
10-29 663
通过引入窥视孔连接，LSTM能够更加精确地控制信息流，因为每个门都可以根据细胞状态的即时值进行调整。这种设计不仅增强了模型的性能，尤其是在需要精细控制内部状态记忆的应用中，如复杂的序列预测和模式识别任务，也提高了决策过程的透明度和直观性。
深入探索：深度学习在时间序列预测中的强大应用与实现
平凡程序猿~的博客
10-28 3455
随着深度学习的快速发展，循环神经网络（RNN）、长短期记忆网络（LSTM）、门控循环单元（GRU）、卷积神经网络（CNN）以及Transformer模型逐步应用到时间序列分析中，并取得了较好的结果。下面将详细介绍这些模型的原理、优势、不足以及实际应用中的代码示例。
深度学习：梯度下降算法简介
m0_73640344的博客
10-29 1310
在深度学习的训练过程中，梯度下降算法（Gradient Descent，简称GD）扮演着至关重要的角色。这一算法的核心机制是利用数据集的梯度信息来迭代更新模型参数，以最小化损失函数。接下来，我们将详细讨论其各种变体和进化。1. 随机梯度下降（SGD）由于全批量的梯度下降在面对大规模数据集时会受到内存限制和迭代速度的制约，学者们提出了随机梯度下降（Stochastic Gradient Descent，SGD）。这种方法每次迭代仅使用数据集中的一个小批量样本来计算梯度和更新参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值