多GPU下训练时保存模型

PQ-girl

已于 2022-07-24 12:10:07 修改

阅读量507

点赞数 1

文章标签：深度学习 python 人工智能

于 2022-07-24 12:08:43 首次发布

本文链接：https://blog.csdn.net/XSXBZDQ/article/details/125957741

版权

在pytorch中，使用多GPU训练时需要用到【nn.DataParallel】

在多GPU训练时，模型会被DataParallel进行封装，训练时保存的模型会多出来一个module，所以当预测模型时不需要多GPU，直接用单GPU加载参数时会报错。
因此，可以在训练时将保存模型的代码改为：`

if len(gpu_ids) > 1:
  t.save(model.module.state_dict(), "model.pth")
else:
  t.save(model.state_dict(), "model.pth")

参考：https://www.jb51.net/article/189297.htm

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

PQ-girl

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
多GPU下训练时保存模型

多GPU训练时的模型保存
复制链接

扫一扫

pytorch 多卡训练，模型保存的一些问题

2401_83817148的博客

04-08

249

第二步：定义模型，并将模型放入device。如果环境中有多张显卡，则使用torch.nn.DataParallel方法加载模型，实现多卡训练。第四步：保存模型，判断是否是多张显卡训练出来的模型。如果是多张显卡训练的模型则要保存model.module。第一步：检查环境内是否有cuda环境，如果有则将device 设置为cuda:0，如果没有则设置为cpu。第三步：将数据放入device中。数据默认加载到第一张显卡上。接下来，我们看看多显卡训练过程和单显卡有何不同。以上前端开发知识点，真正体系化！

解决pytorch多GPU训练保存的模型,在单GPU环境下加载出错问题

09-16

主要介绍了解决pytorch多GPU训练保存的模型,在单GPU环境下加载出错问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

参与评论您还未登录，请先登录后发表或查看评论

torch多GPU模型的训练与保存

weixin_42105432的博客

08-14

812

若模型采用多GPU训练，则在模型保存时： torch.save(model.module.state_dict(), model_out_path) 若单GPU则： torch.save(mode.state_dict(), model_out_path)

【keras】多GPU训练模型及保存

这个人很蓝

04-01

530

from keras.utils import multi_gpu_model # Replicates `model` on 8 GPUs. # This assumes that your machine has 8 available GPUs. parallel_model = multi_gpu_model(model, gpus=8) parallel_model.compile(...

pytorch多GPU训练模型保存及加载

F_aF_a的博客

08-26

489

参考链接 https://pytorch.org/tutorials/beginner/former_torchies/parallelism_tutorial.html#dataparallel https://blog.csdn.net/wumo1556/article/details/89065916

pytorch 指定gpu训练与多gpu并行训练示例

09-18

总结，PyTorch 提供了简单易用的接口来指定GPU训练和实现多GPU并行训练，这极大地提高了深度学习模型的训练效率。通过合理利用这些功能，开发者可以更高效地利用硬件资源，快速优化和训练复杂的深度学习模型。

TensorFlow实现保存训练模型为pd文件并恢复

09-18

以下是保存模型的代码： ```python import tensorflow as tf # 创建变量和操作 var1 = tf.Variable(1.0, dtype=tf.float32, name='v1') var2 = tf.Variable(2.0, dtype=tf.float32, name='v2') var3 = tf.Variable...

tensorflow 保存模型和取出中间权重例子

09-18

在训练过程中，使用`saver.save()`方法保存模型的当前状态，其中`global_step`参数用于记录训练步数。在训练完成后，我们使用`tf.train.get_checkpoint_state()`获取最新的检查点，并通过`saver.restore()`恢复...

多GPU--简单运行，多卡模型加载保存

混吃等死，研究生在读，毕业无望，偶尔搞点好玩的

02-26

1936

学习记录

模型的保存与加载与多gpu的模型保存和加载

qq_40670510的博客

10-23

2056

要先判断下是否为数据并行的形式，多GPU情况下，需要调用model.module模块，再去保存模型参数state_dict。我理解model.module就是将多卡上的参数以及网络机构通过某种机制将其汇总成：只有一个网络结构，只有一套参数的模型结构。报错如下，意思就是梯度只能为标量（即一个数）输出隐式地创建。用model.module模块去保存模型。

【pytorch】多GPU训练模型的保存和加载

rocking_struggling的博客

08-09

1342

pytorch中多GPU模型加载和保存需要注意的一些问题

PyTorch 多GPU下模型的保存与加载（踩坑笔记）

Willen_的博客

05-21

1224

转自https://www.cnblogs.com/blog4ljy/p/11711173.html 写的很好，留作参考 PyTorch 多GPU下模型的保存与加载（踩坑笔记）这几天在一机多卡的环境下，用pytorch训练模型，遇到很多问题。现总结一个实用的做实验方式：多GPU下训练，创建模型代码通常如下： os.environ['CUDA_VISIBLE_DEVICES'] = args.cuda model = MyModel(args) if torch.cuda.is_avail..

Pytorch 使用多块GPU训练模型

tiancanucas的博客

04-29

5759

1. 先确定几个概念： ①分布式、并行：分布式是指多台服务器的多块GPU(多机多卡)，而并行一般指的是一台服务器的多个GPU(单机多卡)。 ②模型并行、数据并行：当模型很大，单张卡放不下时，需要将模型分成多个部分分别放到不同的卡上，每张卡输入的数据相同，这种方式叫做模型并行；而将不同的数据分配到不同的卡上，运行相同的模型，最后收集所有卡的运算结果来提高训练速度的方式叫数据并行。相比于模型并行，数据并行更为常用，以下我们主要讲述关于数据并行的内容。 ③同步更新、...

使用Pytorch在多GPU下保存和加载训练模型参数遇到的问题

Cloris_Sue的博客

11-09

1901

原文转载至https://www.cnblogs.com/jinjunweina/p/12671833.html 使用Pytorch在多GPU下保存和加载训练模型参数遇到的问题最近使用Pytorch在学习一个深度学习项目，在模型保存和加载过程中遇到了问题，最终通过在网卡查找资料得已解决，故以此记之，以备忘却。首先，是在使用多GPU进行模型训练的过程中，在保存模型参数时，应该使用类似如下代码进行保存： torch.save({ 'epoch': epoch,

单卡加载多卡训练保存的模型

whutfan的博客

06-29

792

多卡训练保存的模型怎么加载

Pytorch多GPU条件下DDP集群分布训练实现(简述-从无到有)

等待戈多的博客

07-27

1715

近两天在尝试Pytorch环境下多GPU的模型训练，总结一份可以从无到有完整实现的笔记。搞了一晚上加一中午，终于搞成功了。这里对此进行记录，便于以后查阅。

pytorch模型保存与加载方法以及使用torch.nn.DataParallel需要注意的问题

“相关推荐”对你有帮助么？

非常没帮助
没帮助
一般
有帮助
非常有帮助

提交

多GPU下训练时保存模型

在pytorch中，使用多GPU训练时需要用到 【nn.DataParallel】

“相关推荐”对你有帮助么？

在pytorch中，使用多GPU训练时需要用到【nn.DataParallel】