系统学习Pytorch笔记十： 模型的保存加载、模型微调、GPU使用及Pytorch常见报错

已于 2022-05-15 19:45:05 修改
阅读量5.3k 收藏 93
点赞数 51
分类专栏： Pytorch学习笔记 文章标签： Pytorch系统学习 模型保存加载 finetune GPU使用 Pytorch报错
于 2020-04-30 14:14:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wuzhongqiang/article/details/105612625
版权
本文是Pytorch系统学习的总结，涵盖模型的保存与加载（序列化与反序列化、两种保存加载方式、断点续训练），模型微调技术，GPU的使用（CPU与GPU对比、数据迁移、多GPU并行运算）以及Pytorch常见报错解析。通过实例讲解如何在训练过程中保存断点、使用预训练模型进行迁移学习，以及处理GPU环境下的数据和模型。此外，文章还列举并解释了Pytorch训练中常见的错误和解决方案。
摘要由CSDN通过智能技术生成

Pytorch官方英文文档：https://pytorch.org/docs/stable/torch.html?
Pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/

1. 写在前面

疫情在家的这段时间，想系统的学习一遍Pytorch基础知识，因为我发现虽然直接Pytorch实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样学习起来感觉很不踏实， 对Pytorch的使用依然是模模糊糊， 跟着人家的代码用Pytorch玩神经网络还行，也能读懂，但自己亲手做的时候，直接无从下手，啥也想不起来， 我觉得我这种情况就不是对于某个程序练得不熟了，而是对Pytorch本身在自己的脑海根本没有形成一个概念框架，不知道它内部运行原理和逻辑，所以自己写的时候没法形成一个代码逻辑，就无从下手。 这种情况即使背过人家这个程序，那也只是某个程序而已，不能说会Pytorch， 并且这种背程序的思想本身就很可怕， 所以我还是习惯学习知识先有框架（至少先

了解本专栏 订阅专栏 解锁全文 超级会员免费看
翻滚的小@强
关注
专栏目录
订阅专栏
系统学习Pytorch笔记九：正则化与标准化大总结
Miracle8070
04-27 3134
Pytorch官方英文文档：https://pytorch.org/docs/stable/torch.html? Pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/ 1. 写在前面 疫情在家的这段时间，想系统的学习一遍Pytorch基础知识，因为我发现虽然直接Pytorch实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样...
【Pytorch】Pytorch加载训练好的模型报错记录
学无止境、积少成多、厚积薄发
11-11 753
报错如下: 密密麻麻的提示，看得我头皮发麻。。。。 参考： https://blog.csdn.net/shiwanghualuo/article/details/101756876
【PYTHON-解决问题】使用GPU训练模型（.fit）时报错：Blas GEMM launch failed
fantianning的博客
04-10 630
【问题描述】 使用GPU训练模型（.fit）时报错，返回Blas GEMM launch failed。使用nvidia-smi查看GPU状态，发现显存几乎占满，而GPU使用率极低。 【问题解决】 使用nvidia-smi查看GPU状态，找出占显存最多的一个进程，记下其PID号，使用kill PID号杀掉进程，即可正常训练。 【补充说明】 （nvidia-smi显示的GPU状态） ...
yolov8服务器运行错误elastic
最新发布
weixin_44005763的博客
07-28 195
不知道为什么项目去调用了环境里的代码文件，环境中不存在写入的函数。很奇怪，在电脑上可以正常跑，上服务器就这样报错。将ultralytics复制到环境中即可。问题如上一篇文章所述。
PyTorch 张量和模型的保存与加载
A-Egoist的博客
02-16 2233
PyTorch 中 Tensor 和模型可以保存为.pt.pth.pkl格式的文件，三者在格式上没有区别。
Pytorch实现数据加载—模型搭建训练—模型保存—模型测试评估完整流程
qq_42719311的博客
04-24 864
Pytorch数据加载；Pytorch模型搭建；Pytorch模型训练；Pytorch模型测试；Pytorch模型保存与加载。
模型的保存加载、模型微调、GPU使用及Pytorch常见报错
深浅卡布星的博客
08-29 867
断点续训练技术就是当我们的模型训练的时间非常长，而训练到了中途出现了一些意外情况，比如断电了，当再次来电的时候，我们肯定是希望模型在中途的那个地方继续往下训练，这就需要我们在模型的训练过程中保存一些断点，这样发生意外之后，我们的模型可以从断点处继续训练而不是从头开始。而反序列化，就是将硬盘中存储的二进制的数，反序列化到内存当中，得到一个相应的对象，这样就可以再次使用这个模型了。所以在模型的训练过程当中， 以一定的间隔去保存我们的模型，保存断点，在断点里面不仅要保存模型的参数，还要保存优化器的参数。
使用 PyTorch 中的 torchvision 模块加载预训练的 Mask R-CNN 模型
03-25
首先，要使用 torchvision 加载预训练的 Mask R-CNN 模型，你需要确保已经安装了 PyTorch 和 torchvision。你可以通过以下命令检查和安装： ```bash pip install torch torchvision ``` 接下来，导入所需的库和...
Pytorch实战总结篇之使用GPU训练模型
Miracle8070
10-06 2万+
1. 写在前面 这段时间一直在持续学习Pytorch， 也大约整理了20篇左右的笔记， 主要包括系统学习Pytorch的10篇， 这里面主要是从原理的层次看Pytorch的运行机制， 一方面是可以大致上对学习Pytorch有一个整体的框架， 另一方面是能理解很多知识的背后原理， 然后是Pytorch的入门与实战8篇， 这里面是使用Pytorch进行一些实战任务， 从图像到语音， 大致上可以知道Pytorch在各个领域是怎么发挥作用的， 但是经过前面的这些文章， 可能依然无法把Pytorch运用起来， 第一个
人工智能_大模型007_CPU微调ChatGLM大模型_使用P-Tuning v2进行大模型微调_007_微调_002---人工智能工作笔记0142
添柴程序猿的专栏
02-23 373
这里的dev.json指的是,test_file测试数据,然后train_file也就是train.json指的是训练数据。我用的CPU所以没有添加NUM_GPUS,这个变量也是自己起名的,我用的默认的,官网提供的这个文件,然后修改的.这里注意我在/data/module建了两个文件夹,一个是train_output用来放训练后的输出模型的,现在还有langchain可以实现,扩展知识库,这个后面我们再说,我先用P-Tuning V2试试,这里我们先试着训练一下,我们用官方提供的训练数据进行训练.
PyTorch基础之模型保存与重载模块、可视化模块讲解（附源码）
showswoller的博客
04-29 1567
PyTorch基础之模型保存与重载模块、可视化模块讲解（附源码）
26.微调预训练模型
potato123232的博客
10-26 510
我们上一章令卷积基全部不进行训练，在这一章我们锁定卷积基的一部分，训练另一部分,在这个过程中我们使用上一章我们训练好的全连接层部分 目录 1导入库 2读取模型 3提取卷积基 4组建新模型 5添加数据集 6编译模型 7训练模型 8预测模型 1导入库 2读取模型 我们看一下读取的模型 我们现在读取的模型之前训练的所有参数也同时读取了进来 3提取卷积基 现在我们的整个模型都是可训练状态 然后我们提取出模型的卷积基础部分，之后...
bug解决：Given groups=1, weight of size 6 1 5 5, expected input[4, 3, 224, 224] to have 1 channels, but
weixin_40945354的博客
06-08 6734
Given groups=1, weight of size 6 1 5 5, expected input[4, 3, 224, 224] to have 1 channels, but got 3 channels instead 代码原本为： from torchvision import transforms, utils from torchvision import datasets import torch import matplotlib.pyplot as plt %matplotl
RuntimeError: Given groups=1, weight of size [64, 3, 4, 4], expected input[6, 1, 512, 512] to have 3
qq_54000767的博客
04-02 3094
RuntimeError: Given groups=1, weight of size [64, 3, 4, 4], expected input[6, 1, 512, 512] to have 3
PyTorch学习笔记（32）pytorch常见报错信息
qq_33357094的博客
03-05 3649
pytorch常见报错信息 1.报错： ValueError: num_samples should be a positive integer value, but got num_samples=0 可能的原因： 传入的Dataset中的len(self.data_info)==0，即传入该dataloader的dataset里没有数据 解决方法： 检查dataset中的路径，路径不对，读取...
pytorch异常——RuntimeError:Given groups=1, weight of size..., expected of...
热门推荐
Blackoutdragon的博客
08-30 2万+
pytorch异常——RuntimeError:Given groups=1, weight of size..., expected of...
Pytorch----模型的保存, 加载和直接测试
weiwei935707936的博客
02-09 7719
模型的保存和加载: 保存参数表 torch.save(the_model.state_dict(), PATH) the_model = TheModelClass(*args, **kwargs) the_model.load_state_dict(torch.load(PATH)) 直接保存模型 (不是的, 你的pth变量会保存很多东西) torch.save(the_model, PATH) the_model = torch.load(PATH) 模型的直接测试: 在pre.
从pytorch神经网络入门到参数冻结与模型保存
weixin_44933854的博客
03-16 2332
系统整理pytorch深度学习基础、参数冻结、模型保存
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值