深度学习3

最新推荐文章于 2022-03-20 18:41:06 发布
最新推荐文章于 2022-03-20 18:41:06 发布
阅读量52 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43573054/article/details/119832425
版权

在这里插入图片描述
mt + 1 : 动量

L(θt;x t) : 表示y 和 y^ 之间的差距

• Find a 𝜃 to get the lowest Σ𝑥 𝐿(𝜃; 𝑥) !!
• Or, Find a 𝜃 to get the lowest 𝐿(𝜃) !!
在这里插入图片描述
在这里插入图片描述
SGD
在这里插入图片描述
SGDM
在这里插入图片描述
在这里插入图片描述
Momentum项相当于速度,因为β稍小于1，表现出一些摩擦力，所以球不会无限加速下去，所以不像梯度下降法，每一步都独立于之前的步骤，你的球可以向下滚，获得动量，可以从碗向下加速获得动量。
有两个超参数，学习率a以及参数\beta，\beta控制着指数加权平均数。\beta最常用的值是0.9

adagrad在这里插入图片描述
RMSprop
在这里插入图片描述
Adam：SGDM+RMSProp
在这里插入图片描述
在这里插入图片描述
SWATS
在这里插入图片描述
在这里插入图片描述
由于，Adam的机制，会考虑历史的大量的梯度影响，在出现一个真正有意义的重要的梯度时，往往又被削弱了其影响。如图中100999次迭代，产生了超大的gradient，结果由于Adam的机制，让他呗削弱的还没有之前的小的gradient的影响大。
AMSGrad
AdaBound
在这里插入图片描述
对Learning Rate加阈值，限制其范围，避免过大和过小。
在这里插入图片描述
Cyclical LR
就是周期性改变Learning Rate，周期性变大变小，维持其搜索速度和精度。
在这里插入图片描述
SGDR
一个思路，就是变大过程直接阶跃变最大。
在这里插入图片描述
One-Cyclical
单个周期内改变其大小。
在这里插入图片描述
warm-up:针对学习率的优化方式
在这里插入图片描述
Warmup是在ResNet论文中提到的一种学习率预热的方法，它在训练开始的时候先选择使用一个较小的学习率，训练了一些epoches或者steps(比如4个epoches,10000steps),再修改为预先设置的学习来进行训练。

RAdam
在这里插入图片描述
RAdam vs SWATS在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

阿里发发
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PyTorch深度学习实战（3）——使用PyTorch构建神经网络
盼小辉丶的博客
06-13 6万+
PyTorch 是一个用于构建深度神经网络的库，具有灵活性和可扩展性，可以轻松自定义模型。在本节中，我们将使用 PyTorch 库构建神经网络，利用张量对象操作和梯度值计算更新网络权重，并利用 Sequential 类简化网络构建过程，最后还介绍了如何使用 save、load 方法保存和加载模型，以节省模型训练时间。
最适合入门的100个深度学习项目
热门推荐
CSDN 精品推荐
10-17 9万+
本专栏整理了《PyTorch深度学习项目实战100例》，内包含了各种不同的深度学习项目，包含项目原理以及源码，每一个项目实例都附带有完整的代码+数据集。
深度学习(3)：Optimization for Deep Learning
JJJJJJames的博客
01-12 337
SGDM的意义：当梯度接近为0时，可以保证θ\thetaθ继续移动不会停止。避免梯度下降在局部最小值停留 adagrad通过将学习率除以之前每个时刻梯度的和保证步长在梯度较大时，不会太大从而超过局部最小值。 如果梯度太大，可能使学习率变得很小，下降不明显，引入RMSProp 在快收敛的时候,即损失函数要接近于全局最小值时使用SGDM 由于在adam中，每次移动的距离会被前一个时刻梯度的大小所影响，当前一个值很小，此时刻的梯度又很大时，它实际的移动距离远小于之前若干...
台大李宏毅课程笔记3——New Optimization for Deep Learning深度学习新优化
专业技能学习笔记本
08-05 669
台大李宏毅课程笔记3SGD with Momentum（SGDM）RMSPropAdamSWATS 本次笔记主要包含两节课： https://www.bilibili.com/video/BV1JE411g7XF?p=8 https://www.bilibili.com/video/BV1JE411g7XF?p=9 SGD with Momentum（SGDM） SGDM通俗的讲就是在本次计算的偏导和learningrate的基础上，加上上一次的运动长度，也就是保持原来的运动趋势。 下面两个图是对比SGDM
new optimization
TYtrack的博客
12-06 223
new optimizer for deep learning 1、SGD 2、SGD with momentum 前一步的累积会移动到下一步当中，就算达到鞍点和局部最低点，带有动量的SGD还是会继续前行，下一步的movement等于： -u*梯度+v*动量 3、Adagrad 即在梯度方向乘了一个数，如果过去的梯度很大，就要降低学习率，因为梯度很大，说明在一个很崎岖的路上寻找全局最低，比如上面图的绿色方向，梯度比较大，所以需要用一个比较小的学习率 4、RMSProp 原理和Adagr
2020李宏毅学习笔记——5.Optimization for Deep Learning
weixin_44554337的博客
06-05 813
一：概述 当你想训练好一个神经网络时，你需要做好三件事情：一个合适的网络结构，一个合适的训练算法，一个合适的训练技巧： 合适的网络结构：包括网络结构和激活函数，你可以选择更深的卷积网络，然后引入残差连接。可以选择relu做为激活函数，也可以选择tanh，swish等。 合适的训练算法：通常采用SGD，也可以引入动量和自适应学习速率，也许可以取得更好的效果。 　合适的训练技巧：合理的初始化，对于较深的网络引入残差连接，归一化等操作。 二：SGD 三：SGD with Momentum 动量梯度下降法的一个本质
李宏毅学习笔记 optimization for deep learning
weixin_45568353的博客
10-21 239
一
arcgis pro深度学习库
03-09
arcgis pro深度学习库arcgis pro深度学习库arcgis pro深度学习库arcgis pro深度学习库arcgis pro深度学习库arcgis pro深度学习库arcgis pro深度学习库arcgis pro深度学习库arcgis pro深度学习库arcgis pro深度学习库...
Matlab深度学习工具箱
04-26
**Matlab深度学习工具箱详解** Matlab深度学习工具箱是MathWorks公司为科研人员、工程师和学生提供的一款强大而全面的平台，用于构建、训练和应用深度学习模型。这款工具箱结合了Matlab易用的编程环境和深度学习...
深度学习500问的pdf版本
06-20
《深度学习500问》是一本非常实用的深度学习教程资源，由GitHub用户scutan90编写并分享。这本书涵盖了深度学习领域的诸多基础知识、理论概念以及实践技巧，旨在帮助初学者和进阶者深入理解并掌握深度学习的核心概念...
李宏毅【课件PPT】
12-07
此压缩包包含李宏毅老师的机器学习所有课件，都是在李宏毅老师个人主页下载整理的，建议配合B站李宏毅老师的Machine Learning 视频一块使用，里面的公式最好推导一下，效果更佳！
李宏毅机器学习笔记3-Optimization for Deep Learning
singxsy的博客
10-22 434
Background Knowledge μ−strong convexity\mu-strong \ convexityμ−strong convexity Lipschitz continuity Lipschitz \ continuityLipschitz continuity Bergman proximal inequality Bergman\ proximal\ inequalityBergman proximal&nb
李宏毅——Optimization for Deep Learning
zzhhjjjj的博客
11-02 280
1
【台大李宏毅|ML】Optimization for Deep Learning
kodoshinichi的博客
04-12 242
深度学习优化器的概述
New Optimization
weixin_62728271的博客
01-27 286
一、Adam与SGDM Adam：fast training, large generalization gap, unstable • SGDM：stable, little generalization gap, better convergence(?) 二、Simply combine Adam with SGDM SWATS [Keskar, et al., arXiv’17] Begin with Adam(fast), end with SGDM Start training Ad..
李宏毅老师机器学习2020学习笔记与思考（五）New Optimizers for Deep Learning
weixin_45574006的博客
01-21 217
New Optimizers for Deep Learning Some Notations θt\theta_{t}θt​: 第t步的模型参数 ∇L(θt)\nabla L(\theta_{t})∇L(θt​)或gtg_{t}gt​: θt\theta_{t}θt​处的梯度，常用来计算θt+1\theta_{t+1}θt+1​ mt+1m_{t+1}mt+1​: 从第0步到第t步的累积momentum，常用来计算θt+1\theta_{t+1}θt+1​ ...
【学习笔记-李宏毅】New Optimization
iioSnail的博客
03-20 2172
视频链接 视频：https://www.youtube.com/watch?v=4pUmZ8hXlHM PPT：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML2020/Optimization.pdf 本次课程会用到的符号（Notation） θt\theta_tθt​：第 ttt 步时，模型的参数 ΔL(θt)\Delta L(\theta_t)ΔL(θt​) 或 gtg_tgt​ ：模型参数为 θt\theta_tθt​ 时，对应的梯度，用于计算 θt+1
李宏毅老师课程：Tips for Deep Learning
APythonC的博客
08-07 290
这里写目录标题一级目录二级目录三级目录 一级目录 二级目录 三级目录
李宏毅机器学习笔记8：Optimization
chairon的博客
12-15 573
New Optimizers for Deep Learning 梯度下降： SGD SGD with momentum Adaptive learning rate： Adagrad RMSProp Adam Some Notations ????t ∇????(????????) ???? ????+1 在step t时的参数 下降的梯度 前面t步积累的动量，用来计算????????+1 Optimization’s aim 找到一个参数 ???? 使属性x的损失函数总和最小，
猴痘病毒识别深度学习3开发工具和编译语言
最新发布
06-08
猴痘病毒识别深度学习3开发工具和编译语言可以选择使用Python编程语言和基于此的深度学习框架，如TensorFlow、PyTorch、Keras等。其中，TensorFlow是由Google开发的一个流行的深度学习框架，提供了许多优化工具，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值