Lesson 4 adaptive learning rate

于 2024-03-05 11:06:35 发布
阅读量256 收藏 1
点赞数 9
分类专栏： 深度学习 文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52641289/article/details/136472209
版权

听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了变化学习率的必要性，几种变化学习率，加入Momentum的Optimization

1. 为什么需要变化的学习率？

因为可能出现震荡现象，即还没到critical point，但是在来回震荡，具体情况请看下图。
在这里插入图片描述
如果我们的学习率一直是很大或者很小，就会出现两种情况：

  • 震荡
  • 更新次数多，耗费时间长
    在这里插入图片描述
    所以我们根本不能用不变的学习率。

2. Root Mean Square(RMS)

引入参数η
在这里插入图片描述
η的具体表达式为：
在这里插入图片描述
在这里插入图片描述

3. RMSProp

前面的RMS的σ中，g1,g2,g3…gi占同等地位，但是RMSProp则可以设定g占不同的重要程度。
在这里插入图片描述

4. Adam(RMSProp+Momentum)

采用RMS，但是η不变的话还是可能造成爆炸问题
在这里插入图片描述
我们让η也动态调整，在靠近critical point的时候变小
在这里插入图片描述
但是不仅有让η变小的这种方法，还可以有warm up的方法（让η先变大再变小）
在这里插入图片描述
为什么我也不知道，实验做出来就是这样，老师说还在研究中

5. 小结

在这里插入图片描述

迟迟迟迟迟子
关注
  • 9
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
adaptivelearning:搭建自适应学习平台
07-04
自适应学习 搭建自适应学习平台。
Adaptive turn rate estimation using range rate measurements
02-20
The coordinated turn (CT) model is often used to track maneuvering target which performs CT motion. The key point to the successful use of this model is to determine the turn rate parameter. A new method to estimate the turn rate by using radar range-rate measurements is presented. First, four possible turn rates can be achieved with the range-rate measurements. Second, the minimum turn rate and its opposite value are chosen to be the possible turn rates. Finally, an interacting multiple model (
Demo_SVM_AdaptiveScale.rar_DEMO_adaptive learning_自适应 SVM_自适应s
07-15
自适应支持向量机应用案例，采用K均值等方式，适用于初学及应用。
adaptive filter theory 4th zh
01-09
adaptive filter theory 4th 中文扫描，已经ocr处理可搜索，带书签
Adaptive Bit Rate Capable Video Caching and Scheduling
03-11
IEEE文献，用账户下载，对于有这方面需求的用户来说，是十分便利的
How to Lift Performance With Learning Rate Schedules
u011868279的博客
05-20 327
How to Lift Performance With Learning Rate Schedules
深度学习入门Deep Learning
J.Sampson的博客
08-01 146
本文为作者学习DL过程中所记录的笔记第一次写此类文章，若文章中存在错误，欢迎各位指正，也期待与各位交流学习！学习内容为Kaggle的Intro to Deep Learning，对深度学习有一定了解，目前过一遍，并在不久之后上手一些项目。
Notes for Deep Learning Lessons of Pro. Hung-yi Lee (4)
hello_JeremyWang的博客
10-21 133
1. Tips for DNN In this lesson, Pro. LEE taught us some tips for deep neural network, which contains： Adaptive Learning Rate New Activation Function Dropout Regularization Early Stopping 1.1 Adaptive Learning rate The knowledge about Adaptive Learning R
What are some good books/papers for learning deep learning?
weixin_33842328的博客
10-16 386
What's the most effective way to get started with deep learning?       29 Answers     Yoshua Bengio, My lab has been one of the t...
Adaptive quick learning for associative memory
06-29
Adaptive quick learning for associative memory Adaptive Quick Learning for Associative Memory Tomoshige Yoshihara and Masafumi Hagiwara Keio University, Yokohama, Japan 223-8522 SUMMARY Bidirectional associative memory (BAM) is a a form of heteroassociative memory that can recall and restore patterns. Being a Hebbian learning-based memory, it has the problem of very low capacity. A training paradigm called the Pseudo-Relaxation Learning Algorithm (PRLAB) greatly increases the memory c
w4_4.rar_W4_snr adaptive
09-21
adaptive encoding and decoding depending on the channel SNR
adaptive filter theory 4th en
01-09
adaptive filter theory 4th英文原版扫描，ocr处理可搜索，带书签
deep learning(Adaptive Computation and Machine Learning series)
09-18
This book is about a solution to these more intuitive problems. This solution is to allow computers to learn from experience and understand the world in terms of a hierarchy of concepts, with each concept defined in terms of its relation to simpler concepts. By gathering knowledge from experience, this approach avoids the need for human operators to formally specify all of the knowledge that the computer needs. The hierarchy of concepts allows the computer to learn complicated concepts by building them out of simpler ones. If we draw a graph showing how these concepts are built on top of each other, the graph is deep, with many layers. For this reason, we call this approach to AI deep learning.
Sample-adaptive Multiple Kernel Learning
02-09
Sample-adaptive Multiple Kernel Learning
A Gentle Introduction to the Gradient Boosting Algorithm for Machine Learning
a1424262219的博客
09-13 384
A Gentle Introduction to the Gradient Boosting Algorithm for Machine Learning byJason BrownleeonSeptember 9, 2016inXGBoost 0 0 0 0 Gradient boosting isone of the most powerful ...
【改善神经网络】Lesson 2--优化算法
【人工智能】王小草的博客
05-29 1089
课程来源：吴恩达 深度学习课程 《改善神经网络》 笔记整理：王小草 时间：2018年5月26日 本文要讲的是优化算法，使你的神经网络运行得更快。 1.mini-batch梯度下降 1.1 如何得到mini-batch 可将所有样本的特征x表示成一个大矩阵，维数为（n, m),其中n为特征的维数，m为样本的总数目： X = [x(1), x(2), ...,x(m)] 可...
10 场外企面试经验总结
wujiandao的专栏
05-28 6748
800多万的毕业生大军，祖国人才是多么旺盛。 历年的大学生毕业统计，给我们敲了一下警钟。你看着周边的同学，都是不紧不慢的样子，但实际上统计局的数字却一直是热乎乎的。 去年有 820万的大学毕业生，根据智联招聘 3 月份发布的《2018 年应届生就业力调研报告》显示，至少 1/4 的同学没有收到任何一份 offer, 而今年只会更多。从去年各大厂把自己的秋招都提...
Kaggle(L3) - Stochastic Gradient Descent & Notebook
我这个代码你能看懂吗？
10-20 335
Use Keras and Tensorflow to train your first neural network. Introduction In the first two lessons, we learned how to build fully-connected networks out of stacks of dense layers. When first created, all of the network’s weights are set randomly – the netw
adaptive learning pso代码
最新发布
01-24
自适应学习粒子群优化（Adaptive Learning PSO）是一种以粒子群优化（PSO）算法为基础，结合了自适应学习能力的优化算法。该算法利用了粒子群优化的思想，模拟了鸟群觅食的行为，通过不断地迭代更新粒子的位置和速度...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

迟迟迟迟迟子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值