pytorch-lightning device管理和 Lightning Modules的嵌套

已于 2023-07-04 13:06:46 修改
阅读量640 收藏
点赞数 1
文章标签： pytorch 人工智能 python
于 2022-10-13 15:21:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43427457/article/details/127302097
版权

device机制

根据官网推荐和自己实验，如果想在一个torch module的内部生成一个常量（它不算模型参数，无法自动分配设备，但是参与运算），最好的办法就是

        1.  __init__ 中生成，forward时type_as一下

        2. 在nn.Module. __init__() 中self.register_buffer()

如果在 __init__ 中使用self.device属性，仍会发生不同设备异常

Graphics Processing Unit (GPU) — PyTorch Lightning 1.6.1 documentation

LightningModules

一般都是一个LM嵌套一堆nn.Modules

实验发现,一个LM嵌套一堆pl.LightningModules也是可以的，官网也有这样的用法（参考trainer.predict）

但是没有什么好处。regisiter在torch里也能做

qq_43427457
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
【Pytorch Lightning】LightingModule API使用
让算法融入生活，改变生活！
03-09 690
之前的文章只是大致介绍Lighting使用的相关特性，Lighting主要使用的有LightingModule、Trainer等。下面我们来看看LightingModule. LightningModule 将您的 PyTorch 代码分为 5 个部分: 计算（初始化） 训练循环（training_step） 验证循环（validation_step） 测试循环（test_step） 优化器 (config_optimizers) 官网演示视频 需要注意的几件事： 1 本身还是Pytorch代码 2 P
iphone充电图_为什么我的iPhone无法充电？
culinxia2707的博客
09-19 2325
iphone充电图You plug in your iPhone or set it down on a wireless charger to charge the battery, check back later, and it hasn’t charged. What happened? Many things can go wrong. Let’s take a look at some...
pytorch-lighting
aixiaomi123的博客
06-20 302
关于pytorch-lighting 的使用
Pytorch Lightning使用：【LightningModule、LightningDataModule、Trainer、ModelCheckpoint】
qq_35831906的博客
06-25 2008
PyTorch Lightning是面向专业AI研究人员和机器学习工程师的深度学习框架，他们需要在不牺牲大规模性能的情况下获得最大的灵活性。lightning 使你的想法到论文和产品同样速度。LightningModule是原始PyTorch的一个轻量化结构，允许最大的灵活性和最小的库文件。它作为一个模型“配方”，指定所有的训练细节，可以少写80%的代码。
Pytorch Lightning框架：使用笔记【LightningModule、LightningDataModule、Trainer、ModelCheckpoint】
u013250861的博客
03-19 1万+
pytorch是有缺陷的，例如要用半精度训练、BatchNorm参数同步、单机多卡训练，则要安排一下Apex，Apex安装也是很烦啊，我个人经历是各种报错，安装好了程序还是各种报错，而pl则不同，这些全部都安排，而且只要设置一下参数就可以了。另外，根据我训练的模型，4张卡的训练速度大概提升3倍，训练效果（图像生成）好很多，真香。另外，还有一个特色，就是你的超参数全部保存到模型中，如果你要调巨多参数，那就不需要再对每个训练的模型进行参数标记了，而且恢复模型时可以直接恢复超参数，可以大大减小代码量和工作量，这.
PyTorch Lightning入门教程（一）
kejizuiqianfang的博客
08-22 3419
因为最近在学习pytorch lightning，所以这里记录一下学习的内容，这一节记录简单的入门教程，下一节预计介绍如何进行多GPU训练。pytorch lightning作为pytorch的一个拓展架构，可以减少很多与数据处理以及模型搭建无关的代码，增加工程效率。因为在编写训练代码的时候，很多时候需要兼顾编写学习率的schedule代码，记录log的代码等等。实际上，模型相关代码可能需要的时间还不如调试这些辅助的代码所需要的时间。而pytorch lightning这类框架就可以解决上面的问题。
pytorch-lightning离线文档
04-05
pytorch-lightning 1.7.0离线文献。 官方网站：https://www.pytorchlightning.ai/ Github地址：https://github.com/PyTorchLightning 这个文档是html格式的，下载后直接解压，双击index.html，然后就可以开始查阅了...
Python库 | pytorch-lightning-0.8.1.tar.gz
04-14
资源分类：Python库 所属语言：Python 资源全名：pytorch-lightning-0.8.1.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
pytorch-lightning-spells:一些有用的pytorch-lightning插件
03-25
PyTorch闪电法术 一些有用的插件。
pytorch-lightning-template
03-08
火炬闪电模板Pytorch-Lightning是一个很好的库，或者说是Pytorch的抽象和包装。它的好处是可替代性强，易维护，逻辑清晰等。缺点也很明显，这个包需要学习和理解的内容还是如果直接按照官方的模板写的代码，小型项目...
基于PyTorch与PyTorch-Lightning进行人工神经网络模型与CNN模型的构建.zip
07-09
准备阶段，使用 PyTorch-Lightning 进行训练框架的搭建。 在{model_name}_main.py 入口脚本（例如 cnn_main.py）中设置 Global Seed 为 42，使用自定义的 MnistDataLoader 作为训练数据，使用 pl.Trainer()对模型...
PyTorch Lightning(一)、LIGHTNING IN 15 MINUTES
最新发布
fanre的专栏
05-31 28
定义LightningModel，当然validation_step和test_step也是一样的。如果您有多行具有相似功能的代码，您可以使用回调将它们轻松地分组在一起，并同时打开或关闭所有这些行。训练可视化，如果有tensorboard的话，直接打开网页。把有关于cuda的部分移除掉，后面会统一追加。设置反向传播和优化器部分，也可以不显式的写明。trainer里面有很多的小技巧。自定义的train loop。优化器会自动的组合这些步骤。快速的设置GPU或者CPU。Trainer的扩展。
pytorch lightning最简上手
weixin_44966641的博客
11-12 7906
pytorch lightning最简上手
Pytorch-Lightning基本方法介绍
qian_chun_qiang的博客
10-14 1万+
Pytorch-Lightning基本方法介绍 文章目录Pytorch-Lightning基本方法介绍LIGHTNINGMODULEMinimal Example一些基本方法TrainingTraining loopValidation loopTest loopInferenceInference in researchInference in productionLightningModule API（略） LIGHTNINGMODULE LightningModule将PyTorch代码整理成5个部分
Pytorch_Lightning基础知识
Joselynzhao
09-27 1939
这种方法是继承pl.LightningDataModule来提供训练、校验、测试的数据。
PyTorch Lightning入门教程（二）
kejizuiqianfang的博客
09-03 3617
pytorch lightning提供了比较方便的多GPU训练方式，同时包括多种策略和拓展库，比如ddp，fairscale等，下面将从单机多卡和多机多卡两个角度介绍。
“简约版”Pytorch —— Pytorch-Lightning详解
热门推荐
weixin_46062098的博客
11-16 2万+
PyTorch-Lightning介绍安装实用功能Automatic Batch Size Finder - 自动获取Batch SizeAutomatic Learning Rate Finder - 自动获取初始学习率Reload DataLoaders Every Epoch - 重新加载数据Callbacks - 回调函数Weights Summary - 展示网络信息Progress Bar - 进度条Training and Eval Loops - 训练以及测试循环Training on GP
让PyTorch更轻便，这款深度学习框架你值得拥有！在GitHub上斩获6.6k星
量子位
07-14 583
白交 发自 凹非寺量子位 报道 | 公众号 QbitAI一直以来，PyTorch就以简单又好用的特点，广受AI研究者的喜爱。但是，一旦任务复杂化，就可能会发生一系列错误，花费的时间更长...
pytorch优化器传入两个模型的参数/保存和加载两个模型的参数
lishanlu136的博客
11-12 6258
在人脸识别任务中，当我定义模型backbone后，用到Arcface_loss，但这个Arcface_loss也是用nn.Module模块写的，所以实例化出来也是一个网络，而且原论文中，Arcface_loss还是以backbone权重参数10倍的权重衰减方式更新，需要单独以不同的方式训练，且网络中bn层也是不需要权重衰减的。由于这些原因，我们就需要把网络参数分开。 分别传入两个模型的参数 如果我们只有一个模型model，我们一般就是这样初始化优化器的： optimizer = torch.optim..
pytorch-lightning镜像
08-25
PyTorch-Lightning镜像是一个预先配置好的虚拟环境，其中包含了使用PyTorch-Lightning的必要依赖项和库。PyTorch-Lightning是一个轻量级的PyTorch扩展库，简化了PyTorch模型训练和部署过程中的许多重复性任务，提高...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值