李宏毅机器学习笔记3-Optimization for Deep Learning

最新推荐文章于 2022-05-02 18:56:23 发布
最新推荐文章于 2022-05-02 18:56:23 发布
阅读量457 收藏 3
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/singxsy/article/details/109117625
版权

Optimization for Deep Learning

Background Knowledge

  • μ − s t r o n g   c o n v e x i t y \mu-strong \ convexity μ−strong convexity
  • L i p s c h i t z   c o n t i n u i t y Lipschitz \ continuity Lipschitz continuity
  • B e r g m a n   p r o x i m a l   i n e q u a l i t y Bergman\ proximal\ inequality Bergman proximal inequality
    不会给出很详细的数学证明

New Optimizers for Deep Learning

在这里插入图片描述
找一个神经网络的参数 接近y^hat
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
忽略掉储存等方面的内容，一次可以拿到所有的训练资料

SGD

在这里插入图片描述

SGDM

在这里插入图片描述
乘一个过去的momentum，过去的累加起来。有个过去累加的项，可以确保一直在移动，多看一点东西
在这里插入图片描述

Adagrad

在这里插入图片描述
有了下面分母，即过去gradient所有的和，防止暴走或太小步

RMSProp

在这里插入图片描述

Adam

在这里插入图片描述
在这里插入图片描述

Optimizers:Real Application

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
Adam比较快，SGDM比较稳
一开始用Adam 后面用SGDM
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
上图最后会越走越小

在这里插入图片描述
在这里插入图片描述

上图：给出了一个经验算式。比较粗鲁，没有让机器去自适应，不是最好的
在这里插入图片描述
在这里插入图片描述
上图：一下learning rate大，一会儿小。大的时候鼓励不要满足于现状，当收敛的很好时，也不会产生太大的影响

在这里插入图片描述
上图：直接重来，大了在变小

在这里插入图片描述
先变大 在变小 最后越来越小

Does Adam need warm-up？

让步伐稳一点，不然一会儿大一会儿小，收敛性不好
在这里插入图片描述
上图中 纵轴 iteration 横轴 intribution
从左往右是放大来看的，开始的和后面的不太稳，一开始不知道initial在什么地方，而且分母不会估计的很准，gradient 分布就乱一点。后面分母估计多了再准，不会一下子跳太多。

一种warm-up的方法

下图为原来的 步伐有点大，右侧中振荡的有点大
在这里插入图片描述
distorted a.歪曲的
应该再还不确定估计好不好时，走小步一点，情况不一定编号，但gradient不会差太多，比较稳定，不会暴走

方法：
在这里插入图片描述

RAdam vs SWATS

在这里插入图片描述
Adam快 SGDM稳

One-step back

wrapper 在optimizer外再包层东西
每走几步，检查一下现在走得ok不
在这里插入图片描述
在这里插入图片描述
为什么做这个：可能进到一个很深的峡谷里面，走不出来
我们希望走到一个平坦的minimum，这个考研尽量保持在一个比较平坦的区域

More than momentum

在这里插入图片描述

NAG

so can we look into the future？
超前部署
在这里插入图片描述
在这里插入图片描述

Nadam

在这里插入图片描述

Do you really know your optimizer?

A story of L2 regularization
在这里插入图片描述
在这里插入图片描述

Something helps optimization

在这里插入图片描述
上图：增加随机性
在这里插入图片描述

Advices

在这里插入图片描述

无CCFA就不改名
关注
李宏毅2020机器学习课程笔记（一）- 分类与回归
⚡
04-25 1万+
包含李宏毅机器学习视频P1-P16的课程梗概
​李宏毅机器学习——强化学习Reinforcement Learning
最新发布
iwill323的博客
10-31 2936
​李宏毅机器学习-- ​强化学习
深度学习(3)：Optimization for Deep Learning
JJJJJJames的博客
01-12 355
SGDM的意义：当梯度接近为0时，可以保证θ\thetaθ继续移动不会停止。避免梯度下降在局部最小值停留 adagrad通过将学习率除以之前每个时刻梯度的和保证步长在梯度较大时，不会太大从而超过局部最小值。 如果梯度太大，可能使学习率变得很小，下降不明显，引入RMSProp 在快收敛的时候,即损失函数要接近于全局最小值时使用SGDM 由于在adam中，每次移动的距离会被前一个时刻梯度的大小所影响，当前一个值很小，此时刻的梯度又很大时，它实际的移动距离远小于之前若干...
李宏毅——Optimization for Deep Learning
zzhhjjjj的博客
11-02 302
1
2020李宏毅学习笔记——5.Optimization for Deep Learning
weixin_44554337的博客
06-05 830
一：概述 当你想训练好一个神经网络时，你需要做好三件事情：一个合适的网络结构，一个合适的训练算法，一个合适的训练技巧： 合适的网络结构：包括网络结构和激活函数，你可以选择更深的卷积网络，然后引入残差连接。可以选择relu做为激活函数，也可以选择tanh，swish等。 合适的训练算法：通常采用SGD，也可以引入动量和自适应学习速率，也许可以取得更好的效果。 　合适的训练技巧：合理的初始化，对于较深的网络引入残差连接，归一化等操作。 二：SGD 三：SGD with Momentum 动量梯度下降法的一个本质
李宏毅学习笔记 optimization for deep learning
weixin_45568353的博客
10-21 261
一
Optimization for Deep Learning
weixin_45046318的博客
10-07 160
待更
李宏毅老师《机器学习》课程笔记-1深度学习简介
宁萌Julie的博客
05-02 1797
本文是我学习李宏毅老师《机器学习》课程 2021/2022 -lecture1 的笔记，欢迎交流和多多指教！
【李宏毅2020 ML/DL】P8-9 Optimization for Deep Learnin | 优化器技术总结，SGDM 与 Adam 对比与使用建议
记录学习痕迹的公众号：Piper蛋窝
07-22 1791
很丰满的一节课，关于优化器的综述与实用意见。
【李宏毅-强化学习笔记】p3-p5、Q_learning
weixin_43522964的博客
02-11 683
一、introduction of Q_learning 首先还是讲一下Q_learning的朴素理解：还记得蒙牛的牛仁根吗？他曾经说过：别问我的一双手能干多少事，惟问移泰山需要多少双手；别问我的一口锅能煮多少斤米，惟问劳千军需要多少口锅；别问我的一盏灯能照多少里路，惟问亮天下需要多少盏灯。这段话和Q_learning的思想有异曲同工之妙。 牛仁根的这段话鼓励我们志存高远，遇到困难披荆斩棘而不是望...
Optimization for DeepLearning
hlfwmqd的专栏
09-22 157
New Optimizaiton 在Deep learning环境下，不管你有再强的guarentee才会converge都是不够用的。
Optimization in deep learning
weixin_43138233的博客
12-10 276
Optimization in deep learning Optimization Gradient Descent (Bath gradient descent, Stochastic gradient descent, min-bath gradient descent) Momentum Method and the Nesterov Variant Adaptive Learning ...
台大李宏毅课程笔记3——New Optimization for Deep Learning深度学习新优化
专业技能学习笔记本
08-05 682
台大李宏毅课程笔记3SGD with Momentum（SGDM）RMSPropAdamSWATS 本次笔记主要包含两节课： https://www.bilibili.com/video/BV1JE411g7XF?p=8 https://www.bilibili.com/video/BV1JE411g7XF?p=9 SGD with Momentum（SGDM） SGDM通俗的讲就是在本次计算的偏导和learningrate的基础上，加上上一次的运动长度，也就是保持原来的运动趋势。 下面两个图是对比SGDM
deeplearning Note:Optimization
taotao 的大学墓志
08-27 2204
作者：dylanFrank(滔滔) 这是deeplearning.ai的第二周，这周讲的是优化，这周其实有很多东西并不是很懂，个人结合了《deeplearning》 这本书来自己理了一下，同时也本着迅速入门的想法就没有想那么多，现将其知识整理如下: mini-batch gradient descent momentum RMSprop adam learning rate decay 本质上来说，
【台大李宏毅|ML】Optimization for Deep Learning
kodoshinichi的博客
04-12 260
深度学习优化器的概述
Deep Learning：Optimization for Training Deep Models（二）
蚊子爱牛牛的博客
10-31 427
Optimization for Training Deep Models
Deep Learning 10: Optimization
weixin_30875157的博客
06-29 184
转载于:https://www.cnblogs.com/wordchao/p/9241650.html
Deep Learning：Optimization for Training Deep Models(零)
蚊子爱牛牛的博客
10-26 448
Deep Learning：Optimization for Training Deep Models
B站：李宏毅2020机器学习笔记 4 —— 深度学习优化 Optimization for Deep Learning
共同进步
04-25 520
总览学习目录篇 链接地址：https://blog.csdn.net/xczjy200888/article/details/124057616 B站：李宏毅2020机器学习笔记 4 —— 深度学习优化 Optimization for Deep Learning
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值