台大李宏毅老师——深度学习 课程笔记 三 （Optimization)

最新推荐文章于 2024-06-02 23:42:00 发布
最新推荐文章于 2024-06-02 23:42:00 发布
阅读量608 收藏
点赞数
分类专栏： 深度学习 文章标签： 深度学习 人工智能 css
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43716712/article/details/123055982
版权

文章目录

概述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

SGD

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

SGD with Momentum

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Nesterov accelerated gradient (NAG)

在这里插入图片描述
在这里插入图片描述

Adagrad

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

这里有一个问题，如果一开始梯度就很大，那么它没走几步就卡住了，所以需要RMSProp。

Adadelta

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

RMSProp

在这里插入图片描述
RMSProp结合了Adagrad和Momentum。
在这里插入图片描述

Adam

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Real application

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
为什么从2014到现在都没有更多的optmizaer呢？
在这里插入图片描述
因为Adam和SGDM把低垂的果实都摘了，后面的优化方法都没有更好的超过他们。
在这里插入图片描述
在这里插入图片描述
Adam更快，不稳定。SGDM慢一些，但是稳定。
在这里插入图片描述
SWATS比较鸡肋，是先Adam后SGDM。但是实际很难把控。

Towards Adam

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Towards SGDM

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

大叔爱学习.
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
斯坦福大学最优化(Optimization)教材
05-31
斯坦福大学最优化(Optimization)教材
李宏毅老师2021深度学习课程笔记.pdf
10-08
2021春季李宏毅老师深度学习课程笔记（神经网络训练不起来处理方法+分类的数学原理）
李宏毅机器学习（深度学习）--optimization
qq_43468557的博客
08-15 338
李宏毅机器学习
Optimization 课程笔记翻译
dawningblue的博客
09-12 645
Table of Contents: Introduction Visualizing the loss function Optimization Strategy #1: Random Search Strategy #2: Random Local Search Strategy #3: Following the gradient Computing the gradient Numer...
[转]深度学习中优化方法——momentum、Nesterov Momentum、AdaGrad、Adadelta、RMSprop、Adam
ping1jing2的博客
08-15 893
  深度学习中优化方法 —momentum、Nesterov Momentum、AdaGrad、Adadelta、RMSprop、Adam—         我们通常使用梯度下降来求解神经网络的参数，关于梯度下降前面一篇博客已经很详细的介绍了（几种梯度下降方法对比）。我们在梯度下降时，为了加快收敛速度，通常使用一些优化方法，比如：momentum、RMSprop和Adam等。这篇博客主要介绍...
【学习笔记】李宏毅2021春机器学习课程第一节：机器学习基本概念简介
Harryline的博客
07-11 473
7月10日 一、李宏毅2021春机器学习课程-第一节 试了不同的参数,然后计算它的Loss，画出来的这个等高线图叫做Error Surface，是机器学习的第二步。 来自model本身的限制叫做model bias ReLU ReLU 和 sigmoid哪一个更好呢？ Deep Learning名称的由来 **过拟合（overfitting）**问题 反向传播（Backpropagation）：(3条消息) 反向传播——通俗易懂_chengchaowei的博客-CSD
李宏毅——深度学习ppt
06-23
共计300多页ppt，是最深入浅出的深度学习入门资料。你值得拥有！
台湾大学李宏毅《机器学习》 课程学习笔记.pdf
11-06
主要由监督学习、半监督学习、迁移学习、无监督学习、监督学习中的结构化学习以及强化学习构成。最关键的是本文档带书签。
李宏毅深度学习课程中的笔记
08-08
适用于初学deeplearning的初学者，方便笔记
台大李宏毅深度学习视频全（9）
07-29
台大李宏毅讲授的一天搞懂深度学习公开课的全部视频资料，还有之前上传的全部课件。由于上传量的限制，分开上传，请注意顺序。
李宏毅机器学习——梯度下降（BGD、SGD、MBGD、AdaGrad、Momentum_MBGD等）python实现
weixin_38424903的博客
05-21 969
python实现，梯度下降法（BGD、SGD、MBGD、AdaGrad、Momentum_MBGD等） https://github.com/pander-dancer/LHY_ML Adam等其他优化方法持续更新中
大三小学期进阶课程第十九课：Optimization Inside Motion Planning
君陌的博客
07-26 1733
第19课、Optimization Inside Motion Planning 约束问题的核心有三点： (1)目标函数的定义，目标函数比较清晰，对于后面的求解更有帮助。 (2)约束，比如路网约束、交规、动态约束等。 (3)约束问题的优化，比如动态规划、二次规划等。 动态规划通过类似于有限元的方式，把问题从连续空间抽象成离散空间，然后在离散空间中进行优化。虽然这种方法可以逼近连续空间中的最优解，但是计算复杂度很高。针对计算时间长的问题，可以使用牛顿方法进行优化，它的收敛次数是指数平方，也叫二次收敛。
李宏毅机器学习2020笔记（四）梯度下降 Adagrad 特征缩放（Feature scaling）
www588555的博客
04-15 680
一、Learning rate 1.Learning rate中的问题 如果learning rate刚刚好，就可以像下图中红色线段一样顺利地到达到loss的最小值 如果learning rate太小的话，像下图中的蓝色线段，虽然最后能够走到local minimal的地方，但是它可能会走得非常慢，以至于你无法接受 如果learning rate太大，像下图中的绿色线段，它的步伐...
Optimization和adptive learning rate的介绍（李宏毅ML课程笔记）
weixin_50268174的博客
10-15 190
Adptive Learning Rates 能够在update参数的同时，根据已知的信息更新learning rate，使得learning rate大小随着迭代次数的增加适应cost曲线的变化。 对adptive learning rate的要求： 能够在接近optimal的附近时，让desent的步伐越来越小，由此达到最优值 能够对不同的参数给出不一样的learning rate 能够降低saddle points，local optimal、gradient为正值，以及gradient 过小对结果
深度学习中训练集、验证集和测试集的不同作用
exlink2012的专栏
06-02 376
在深度学习中，训练集、验证集和测试集的划分对于模型的训练和评估非常重要。
基于RNN和Transformer的词级语言建模 代码分析 log_softmax
flyfish
05-30 1289
flyfish
数学基础——微积分在机器/深度学习上的应用
最新发布
Xiao_Ya__的博客
06-02 384
数学基础——微积分在机器/深度学习上的应用
5.28.1 使用卷积神经网络检测乳腺癌
qq_47896523的博客
05-29 995
微钙化和肿块是乳腺癌的最早迹象，只能使用成像方式检测到。根据乳腺异常的侵袭阶段，异常可能是良性的或恶性的。与检测微钙化相比，检测乳房组织中的肿块更具挑战性。Organization 等人 (2006) 的研究表明，种族、地理位置和其他风险因素会决定乳腺癌的发展。在这项工作中，我们提出了基于卷积神经网络 (CNN) 的乳腺肿块检测方法，以同时定位肿块并将其分类为良性或恶性异常。为了训练、验证和测试该方法，我们从不同站点收集了数据集。
李宏毅深度学习笔记 pdf
09-06
### 回答1： 李宏毅教授所著的《深度学习笔记》pdf是目前深度学习领域中非常受欢迎的资源之一。...无论是想要学习深度学习的初学者，还是对深度学习有更进一步了解的专业人士，都应该阅读这本教材。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值