系统学习Pytorch笔记七：优化器和学习率调整策略

已于 2022-05-15 19:02:21 修改
阅读量5.8k 收藏 150
点赞数 44
分类专栏： Pytorch学习笔记 文章标签： Pytorch系统学习 优化器 学习率调整
于 2020-04-26 10:05:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wuzhongqiang/article/details/105612559
版权

Pytorch官方英文文档：https://pytorch.org/docs/stable/torch.html?
Pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/

1. 写在前面

疫情在家的这段时间，想系统的学习一遍Pytorch基础知识，因为我发现虽然直接Pytorch实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样学习起来感觉很不踏实， 对Pytorch的使用依然是模模糊糊， 跟着人家的代码用Pytorch玩神经网络还行，也能读懂，但自己亲手做的时候，直接无从下手，啥也想不起来， 我觉得我这种情况就不是对于某个程序练得不熟了，而是对Pytorch本身在自己的脑海根本没有形成一个概念框架，不知道它内部运行原理和逻辑，所以自己写的时候没法形成一个代码逻辑，就无从下手。 这种情况即使背过人家这个程序，那也只是某个程序而已，不能说会Pytorch， 并且这种背程序的思想本身就很可怕， 所以我还是习惯学习知识先有框架（至少先知道有啥东西）然后再通过实战（各个东西具体咋用）来填充这个框架。 而这个系列的目的就是在脑海中先建一个Pytorch的基本框架出来， 学习知识，知其然，知其所以然才更有意思 😉。

今天是该系列的第七篇文章，依然是基于上次的

了解本专栏 订阅专栏 解锁全文 超级会员免费看
翻滚的小@强
关注
  • 44
    点赞
  • 踩
  • 150
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
订阅专栏
nips.cocob.pytorch:NIPS'17论文的PyTorch实施，通过硬币下注在没有学习率的情况下训练深层网络
05-19
nips.cocob.implementation NIPS'17论文的PyTorch实施Training Deep Networks without Learning Rates Through Coin Betting 。 论文： ://arxiv.org/abs/1705.07795 by Francesco Orabona，Tatiana Tommasi 作为一部分， 验证了该。 档案： cocob.py：PyTorch中的优化器 cocob_report.ipynb：笔记本电脑，其中在包括cocob在内的各种优化程序上对完全连接和基于CNN的模型进行了测试。 word_language_model /：来自的LSTM模型，其中Penn Tree Bank语料库在包括cocob在内的各种优化程序上进行了测试。 发现： 积极的一面 非常有前途的优化器。 不必决定学习率是
AutoEncoder用于推荐系统pytorch实现
04-26
用pytorch实现了AutoRec论文中的算法，将AutoEncoder用户推荐系统中的打分矩阵补全。数据集是ml100k，可以在movielens的网站上下载。
什么是学习率？什么是优化器？
YiHanXii的博客
03-13 1560
是一个控制模型权重调整幅度的超参数，在机器学习和深度学习中扮演着至关重要的角色。简而言之，学习率决定了在每一次训练迭代中，模型权重更新的步长大小。
pytorch-lr-explorer:Jupyter笔记本探索用于训练深度神经网络的复杂学习率策略
05-14
pytorch-lr-explorer Jupyter笔记本探索了用于在深度神经网络中提高学习率的各种复杂技术，其中包括： 一种用于估计最佳学习率设置的系统方法，其中在短期训练中不断提高学习率，然后针对训练损失或准确性进行绘制。 莱斯利·N·史密斯（Leslie N. Smith）在中介绍了想法。 基于时间的学习速率调度，尤其是带有热重启的余弦退火，其中学习速率以余弦模式在高边界和低边界之间循环变化。 这种特殊的技术来源于伊利亚Loshchilov和弗兰克·胡特。 快照集合，这是对上述技术的扩展，它涉及在每个循环之后对模型进行快照，并使用最后的M个快照作为整体。 这种技术是基于由膏肓，艺轩李，杰夫Pleiss，刘壮，约翰E. Hopcroft和基利安Q.温伯格。 这些策略证明相对于使用具有创建了一个简单RESNET式卷积神经网络的图像分类问题（CIFAR10） 。
Pytorch深度学习入门与实战课程
09-13
给大家分享一套课程——《Pytorch深度学习入门与实战》，2022年7月最新升级完整版25章，课程包升级。课程配套有完整的代码+课件+数据集下载。 Pytorch深度学习入门与实战课程是一套系统实战课程，结合了超多的经典实例，比如：图像定位实例、Unet语义分割实例、LinKnet图像语义分割实例、经典四种天气分类实例、文本分类实例、循环神经网络、Tensorboard可视化等等。
pytorch学习笔记（十五）————动量与学习率衰减
01-06
pytorch学习笔记（十五）————动量与学习率衰减目录动量学习率衰减 目录 动量 从形式上看， 动量算法引入了变量 z充当速度角色——它代表参数在参数空间移动的方向和速率。速度被设为负梯度的指数衰减平均。名称 动量（momentum），相当于引入动量前的梯度概念，指示着loss在参数空间下一步要下降的方向和大小。 其中wk+1w^{k+1}wk+1表示更新后权重；wkw^{k}wk表示更新前权重；zk+1z^{k+1}zk+1代表动量，，α表示学习率 从公式zk+1=βzk+▽f(wk)z^{k+1}=βz^{k}+▽f(w^{k})zk+1=βzk+▽f(wk)可以看出，zk+1z^{
一步一步理解大模型：零冗余优化器技术
chattyfish的博客
07-20 1394
这使得我们可以在相同的硬件上训练更大的模型，或者在更小的硬件上训练相同的模型。ZeRO-1：优化器状态分区（Optimizer State Partitioning） 在传统的数据并行训练中，每个设备都会保存一份完整的模型参数和优化器状态，这会导致内存的大量浪费。ZeRO的目标是通过减少冗余，提高模型训练的内存效率，从而使得更大的模型可以在有限的硬件资源上进行训练。ZeRO主要包括三个级别的优化：ZeRO-1，ZeRO-2和ZeRO-3，每个级别都在前一个级别的基础上进行了进一步的优化。
Pytorch：优化器和学习率
weixin_47255403的博客
12-09 852
这节内容第一部分先是优化器的介绍，然后了解了优化器的属性和方法，并通过代码调试的方式了解了优化器的初始化和使用原理。 重点是了解了动量（EMA）并且学习了学习了SGD优化器。第二部分介绍了学习率，并且知道了优化器中非常重要的一个参数就是学习率，所以最后又了解了学习率的6种调整策略。
优化器与学习率
weixin_43328079的博客
02-10 2805
优化器与学习率（optim和lr_scheduler）解释 pytorch中，优化器是torch.optim，学习率调整策略是torch.optim.lr_scheduler，一般说的学习率衰减策略指的就是lr_scheduler。 构建网络时一般先定义优化器，如SGD优化器，是对网络参数进行优化： optimizer_ExpLR = torch.optim.SGD(net.parameters(), lr=0.1) 然后定义学习率调整策略，如指数衰减策略（ExponentialLR），是给优化器一个学习
Pytorch学习笔记（7）：优化器、学习率及调整策略、动量
路人贾的博客
02-23 2948
Pytorch学习笔记（7）：优化器、学习率及调整策略、动量
Pytorch深度学习—学习率调整策略
qq_43263543的博客
03-20 4000
前面的课程学习了优化器的概念，优化器中有很多超参数如学习率lr，momentum动量、weight_decay系数，这些超参数中最重要的就是学习率。学习率可以直接控制模型参数更新的步伐，此外，在整个模型训练过程中学习率也不是一成不变的，而是可以调整变化的。本节内容就可以分为以下3方面展开，分别是：（1）为什么要调整学习率？（2）Pytorch的六种学习率调整策略；（3）学习率调整总结。 为什么要调整学习率？ ①仅考虑学习率的梯度下降： ②加入momentum系数后随机梯度下降更新公式： 从梯度下降法公式
超方便深度学习Pytorch框架环境部署包
12-05
解压之后直接激活使用，不需要自己配置深度学习环境【超便捷】
Pytorch深度学习入门与实战2024
最新发布
03-19
一、Pytorch功能 PyTorch是一个基于Torch的Python开源机器学习库，用于自然语言处理等应用程序。它主要由Facebookd的人工智能小组开发，不仅能够 实现强大的GPU加速，同时还支持动态神经网络，这一点是现在很多主流框架如TensorFlow都不支持的。 PyTorch提供了两个高级功能： 具有强大的GPU加速的张量计算（如Numpy） 包含自动求导系统的深度神经网络 除了Facebook之外，Twitter、GMU和Salesforce等机构都采用了PyTorch。 Torch是一个有大量机器学习算法支持的科学计算框架，是一个与Numpy类似的张量（Tensor） 操作库，其特点是特别灵活，但因其采用了小众的编程语言是Lua，所以流行度不高，这也就有了PyTorch的出现。所以其实Torch是 PyTorch的前身，它们的底层语言相同，只是使用了不同的上层包装语言。 PyTorch是一个基于Torch的Python开源机器学习库，用于自然语言处理等应用程序。它主要由Facebookd的人工智能小组开发，不仅能够 实现强大的GPU加速，同时还支持动态神经网络，
PyTorch学习笔记（四）调整学习率
12-21
Environment OS: macOS Mojave Python version: 3.7 PyTorch version: 1.4.0 IDE: PyCharm ...PyTorch 在 torch.optim.lr_scheduler 中提供了十种调整学习率的类，它们的基类为 torch.optim.lr_scheduler._LRSc
系统学习Pytorch笔记三：Pytorch数据读取机制(DataLoader)与图像预处理模块(transforms)
热门推荐
Miracle8070
04-17 6万+
Pytorch官方英文文档：https://pytorch.org/docs/stable/torch.html? Pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/ 1. 写在前面 疫情在家的这段时间，想系统的学习一遍Pytorch基础知识，因为我发现虽然直接Pytorch实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样...
Pytorch实战总结篇之使用GPU训练模型
Miracle8070
10-06 2万+
1. 写在前面 这段时间一直在持续学习Pytorch， 也大约整理了20篇左右的笔记， 主要包括系统学习Pytorch的10篇， 这里面主要是从原理的层次看Pytorch的运行机制， 一方面是可以大致上对学习Pytorch有一个整体的框架， 另一方面是能理解很多知识的背后原理， 然后是Pytorch的入门与实战8篇， 这里面是使用Pytorch进行一些实战任务， 从图像到语音， 大致上可以知道Pytorch在各个领域是怎么发挥作用的， 但是经过前面的这些文章， 可能依然无法把Pytorch运用起来， 第一个
Pytorch实战总结篇之模型训练、评估与使用
Miracle8070
10-02 1万+
1. 写在前面 这段时间一直在持续学习Pytorch， 也大约整理了20篇左右的笔记， 主要包括系统学习Pytorch的10篇， 这里面主要是从原理的层次看Pytorch的运行机制， 一方面是可以大致上对学习Pytorch有一个整体的框架， 另一方面是能理解很多知识的背后原理， 然后是Pytorch的入门与实战8篇， 这里面是使用Pytorch进行一些实战任务， 从图像到语音， 大致上可以知道Pytorch在各个领域是怎么发挥作用的， 但是经过前面的这些文章， 可能依然无法把Pytorch运用起来， 第一个
Pytorch入门+实战系列五：Pytorch情感分类
Miracle8070
07-26 8590
Pytorch官方文档：https://pytorch.org/docs/stable/torch.html? 1. 写在前面 今天开始，兼顾Pytorch学习， 如果刚刚接触深度学习并且想快速搭建神经网络完成任务享受快感，当然是Keras框架首选，但是如果想在深度学习或人工智能这条路上走的更远，只有Keras就显得有点独木难支，这时候我们需要一个更加强大的框架，这里我想学习Pytorch，它代码通俗易懂，接近Python原生，学起来也容易一些，所以接下来会整理自己在快速入门Pytorch道路上的所见所得，
系统学习Pytorch笔记一：Pytorch的数据载体张量与线性回归
Miracle8070
04-13 7932
Pytorch官方英文文档：https://pytorch.org/docs/stable/torch.html? Pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/ 1. 写在前面 疫情在家的这段时间，想系统的学习一遍Pytorch基础知识，因为我发现虽然直接Pytorch实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样...
《白话强化学习与PyTorch》
09-05
《白话强化学习与PyTorch》是一本介绍强化学习和PyTorch框架结合的书籍。这本书引用了多个参考内容来支持它的内容。首先，它引用了论文《Playing Atari with Deep Reinforcement Learning》中提到的卷积神经网络架构，该架构用于在Atari游戏中进行强化学习。其次，书中讨论了一些重要的概念和技术，包括迁移学习、生成对抗网络和强化学习。最后，书中第八章使用了四种算法（nips-DQN、nature-DQN、double-DQN、dueling DQN）来训练Gym中的Atari游戏—pong，即乒乓球游戏。这些算法的目标是控制球拍与电脑玩乒乓球，通过奖励机制进行训练。然而，书中提供的代码在处理环境和图像方面存在问题，并且探索率的更新速度较慢，导致训练结果较差。此外，书中关于Double DQN的伪代码和讲解也有错误。因此，读者需要注意这些问题并参考其他资料来获得更准确的信息。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [《白话强化学习与PyTorch》学习笔记---第八章](https://blog.csdn.net/cat_ziyan/article/details/101712107)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [《白话强化学习与PyTorch》第1章 强化学习是什么----读书笔记](https://blog.csdn.net/zhang_xiaomeng/article/details/120113433)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值