PyTorch：模型和数据的save和load

已于 2023-10-09 11:40:08 修改
阅读量6.1k 收藏 28
点赞数 7
分类专栏： Pytorch 文章标签： pytorch save load
于 2020-10-29 00:02:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pipisorry/article/details/109346860
版权

-柚子皮-

API

torch.save和torch.load

torch.save(obj, f, pickle_module=pickle, pickle_protocol=DEFAULT_PROTOCOL, _use_new_zipfile_serialization=True)

Saves an object to a disk file.

torch.save：将序列化的对象保存到disk。这个函数使用Python的pickle实用程序进行序列化。使用这个函数可以保存各种对象的模型、张量和字典。
torch.load：使用pickle unpickle工具将pickle的对象文件反序列化为内存。
torch.nn.Module.load_state_dict:使用反序列化状态字典加载model's参数字典。

TORCH.UTILS.MODEL_ZOO

Loads the Torch serialized object at the given URL.

torch.utils.model_zoo.load_url(url, model_dir=None, map_location=None, progress=True, check_hash=False, file_name=None)

示例：

state_dict = torch.hub.load_state_dict_from_url('https://s3.amazonaws.com/pytorch/models/resnet18-5c106cde.pth')

模型加载和保存

PyTorch 中保存模型主要分为两类：保存整个模型和只保存模型参数。

A common PyTorch convention is to save models using either a .pt or .pth file extension.

保存加载整个模型（不推荐）

保存整个网络模型

（网络结构+权重参数）

torch.save(model, 'net.pth')

这里加载的 net.pt 其实是一个字典，通常包含如下内容：

        网络结构：输入尺寸、输出尺寸以及隐藏层信息，以便能够在加载时重建模型。
        模型的权重参数：包含各网络层训练后的可学习参数，可以在模型实例上调用 state_dict() 方法来获取，比如只保存模型权重参数时用到的 model.state_dict()。
        优化器参数：有时保存模型的参数需要稍后接着训练，那么就必须保存优化器的状态和所其使用的超参数，也是在优化器实例上调用 state_dict() 方法来获取这些参数。
        其他信息：有时我们需要保存一些其他的信息，比如 epoch，batch_size 等超参数。

出错：

AttributeError: Can't pickle local object 'AtomicModel.get_metrics.<locals>.<lambda>'
AttributeError: Can't pickle local object 'AtomicModel._get_metrics.<locals>._accuracy_score'
原因：pickle不能序列化lambda函数，或者是闭包。[python模块 - pickle模块]
加载整个网络模型

（可能比较耗时）

model = torch.load('net.pth')

只保存加载模型参数（推荐）

保存模型的权重参数

（速度快，占内存少）

torch.save(model.state_dict(), 'net_params.pth')

这里model.state_dict() 将每一层的可学习参数映射为参数矩阵，其中只包含具有可学习参数的层(卷积层、全连接层等)。

load模型参数

因为我们只保存了模型的参数，所以需要先定义一个网络对象，然后再加载模型参数。torch.load 返回的是一个 OrderedDict，.state_dict()只是把所有模型的参数都以OrderedDict的形式存下来。
model = ClassNet()
state_dict = torch.load('net_params.pth')
model.load_state_dict(state_dict)

load_state_dict的参数Strict=False

new_model.load_state_dict(state_dict, strict=False)
      如果哪一天我们需要重新写这个网络的，比如使用new_model，如果直接load会出现unexpected key。但是加上strict=False可以很容易地加载预训练的参数（注意检查key是否匹配），直接忽略不匹配的key，对于匹配的key则进行正常的赋值。

跨设备保存加载模型map_location

在 CPU 上加载在 GPU 上训练并保存的模型（Save on GPU, Load on CPU）：

device = torch.device('cpu')
model = TheModelClass()
# Load all tensors onto the CPU device
model.load_state_dict(torch.load('net_params.pkl', map_location=device))
map_location：a function, torch.device, string or a dict specifying how to remap storage locations

令 torch.load() 函数的 map_location 参数等于 torch.device('cpu') 即可。 这里令 map_location 参数等于 'cpu' 也同样可以。

否则会出错：RuntimeError: Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is False. If you are running on a CPU-only machine, please use torch.load with map_location=torch.device('cpu') to map your storages to the CPU.

解决：torch.load(model_path_name, map_location=None if torch.cuda.is_available() else 'cpu')

[Pytorch学习（十七）--- 模型load各种问题解决]

自定义保存内容（推荐）

针对前面“保存加载整个模型”内容过多，我们可以自定义需要save的内容。特别地，如果还想保存某一次训练采用的优化器、epochs等信息，可将这些信息组合起来构成一个字典，然后将字典保存起来：

# saving a checkpoint assuming the network class named ClassNet
checkpoint = {'model': ClassNet(), 'model_state_dict': model.state_dict(),
              'optimizer_state_dict': optimizer.state_dict(), 'epoch': epoch}
torch.save(checkpoint, 'checkpoint.pkl')

load自定义保存的字典

def load_checkpoint(filepath):
    checkpoint = torch.load(filepath)
    model = checkpoint['model']  # 提取网络结构
    model.load_state_dict(checkpoint['model_state_dict'])  # 加载网络权重参数
    optimizer = TheOptimizerClass()
    optimizer.load_state_dict(checkpoint['optimizer_state_dict'])  # 加载优化器参数
    
    for parameter in model.parameters():
        parameter.requires_grad = False
    model.eval()
    
    return model
    
model = load_checkpoint('checkpoint.pkl')

后续使用

      如果加载模型只是为了进行推理测试，则将每一层的 requires_grad 置为 False，即固定这些权重参数；还需要调用 model.eval() 将模型置为测试模式，主要是将 dropout 和 batch normalization 层进行固定，否则模型的预测结果每次都会不同。

      如果希望继续训练，则调用 model.train()，以确保网络模型处于训练模式。

[SAVING AND LOADING MODELS]

数据加载和保存

torch.save和torch.load不仅可以针对模型，还可以是任何对象。因为它本身就是使用Python的pickle实用程序进行序列化。

示例

如feature 是 一个元素为自定义类对象的list

torch.save(features, feature_file_name_path)

features = torch.load(feature_file_name_path)

from: -柚子皮-

ref:

-柚子皮-
关注
专栏目录
Pytorch之保存读取模型实例
09-18
今天小编就为大家分享一篇Pytorch之保存读取模型实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
PyTorch：深度学习的革命性框架.zip
03-12
通过torch.save和torch.load，可以保存模型的权重和架构，以便在后续的预测或继续训练中使用。这对于模型的迁移学习和微调非常有用。 文件列表中可能包含的详细内容可能有： 1. **基础教程**：介绍如何创建张量、...
torch.save()
热门推荐
RUN
09-27 5万+
pytorch保存模型等相关参数，利用torch.save()，以及读取保存之后的文件 本文分为两部分，第一部分讲如何保存模型参数，优化器参数等等，第二部分则讲如何读取。 假设网络为model = Net(), optimizer = optim.Adam(model.parameters(), lr=args.lr), 假设在某个epoch，我们要保存模型参数，优化器参数以及epoch 一、save 先建立一个字典，保存三个参数： state = {‘net’:model.state_dict(),
map_location
m0_63372012的博客
08-01 298
参数在torch.load函数中用于指定加载模型时的设备映射。它的作用是控制模型权重被加载到哪个设备上。
torch.save
weixin_36670529的博客
08-19 2502
torch.save(obj, f, pickle_module=<module 'pickle' from '/opt/conda/lib/python3.6/pickle.py'>, pickle_protocol=2)[source] Saves an object to a disk file. See also: Recommended approach for savi...
【PyTorch】基础学习：一文详细介绍 torch.save() 的用法和应用
m0_59235508的博客
04-15 3976
作为PyTorch中用于保存模型或张量的重要函数，在实际项目中发挥着至关重要的作用。通过掌握其基本用法和高级功能，我们可以更加高效地进行模型的保存、加载和共享操作，为深度学习项目的开发提供有力支持。展望未来，随着深度学习技术的不断发展和应用领域的拓展，对模型保存和加载的需求也将更加多样化和复杂化。相信在PyTorch等开源框架的持续努力下，我们将拥有更加完善和强大的模型序列化工具，为深度学习领域的发展注入新的动力。希望本文能够为大家在PyTorch的学习和使用中提供一些帮助和启示。
Pytorch之Save&Load（保存和加载模型）
记录学习的小白
04-18 6249
模型的保存和加载都在系列化的模块下 先看保存的 更详细的可以参考这里https://pytorch.org/docs/stable/notes/serialization.html#preserve-storage-sharing torch.save()并torch.load()让您轻松保存和加载张量：最简单的就是 t = torch.tensor([1., 2.]) torch.save(t, 'tensor.pth') torch.load('tensor.pth') 按照惯例，Py
Pytorch:Pytorch教程
03-28
- 使用`torch.save()`和`torch.load()`可以保存和加载模型的权重和状态，方便模型的持久化和继续训练。 10. **Jupyter Notebook** - Jupyter Notebook是一个交互式环境，常用于数据分析和机器学习项目。结合...
PyTorch：我的PyTorch深度学习笔记本
02-16
PyTorch提供了torch.save和torch.load函数，可以方便地保存和恢复模型状态。 最后，Jupyter Notebook作为数据科学和机器学习领域常用的交互式环境，它的使用使我们能够将代码、文本、图像和输出整合到一个文档中，...
pytorch:练习
03-16
为了保存训练好的模型，可以使用`torch.save`将模型的权重和架构序列化。之后，通过`torch.load`和`state_dict`恢复模型。 11. **Jupyter Notebook的使用** Jupyter Notebook是一个交互式编程环境，适合进行数据...
pytorch之torch.save()和torch.load()方法详细说明
yueguang8的博客
03-21 2192
torch.save()和torch.load()是PyTorch中用于模型保存和加载的函数。它们提供了一种方便的方式来保存和恢复模型的状态、结构和参数。可以使用它们来保存和加载整个模型或其他任意的Python对象，并且可以在加载模型时指定目标设备。
torch模型保存
Akun_2217的博客
01-19 1090
加载方式一的模型： model = torch.load(‘./model.pth’)torch.save() - 作用是将对象保存到序列化文件中。torch.load() - 作用是将序列化文件生成回对象。
torch.save() torch.load()
t20134297的博客
11-06 2383
在使用pytorch进行深度学习训练的时候，经常会有些内容需要保存下来，保存到硬盘张，不管什么时候我们都可以读取到，那么这个时候，使用torch.save()就可以将内容存储器来，使用torch.load()就可以将存取的内容读取出来。 1.torch.save()使用方法 torch.save()使用的时候需要往里面放进去两个参数，分别是要存储的内容和存储的地址。下面是个例子： import torch statemement = {'name':'dalishi','age':19} torc
pytorch save model
Iam_Human的博客
10-27 1325
import torch import torch.nn as nn import torch.nn.functional as F # Define model class TheModelClass(nn.Module): def __init__(self): super(TheModelClass,self).__init__() self.fc1=...
torch.save torch.load 四种使用方式 如何加载模型 如何加载模型参数 如何保存模型 如何保存模型参数
ucas_v博客
04-13 2985
在 PyTorch 中，我们可以使用torch.save函数将模型或张量保存到文件中，使用torch.load函数从文件中加载模型或张量。
pytorch保存模型
weixin_41529093的博客
06-29 437
仅作为记录，大佬请跳过。 文章目录保存模型引用模型程序记录 保存模型 torch.save(model,'/Data3T/tempt/vit-pytorch/model_toal.pkl') torch.save(model.state_dict(),'/Data3T/tempt/vit-pytorch/net_params.pkl') 参考：传送门 博主程序： 引用模型 model=torch.load('../model_toal.pkl') print(model) 博主程序： 程序记录 博友
PyTorch中通过torch.save保存模型和torch.load加载模型介绍
网络资源是无限的
07-10 1万+
PyTorch中通过torch.save保存模型和torch.load加载模型介绍
optimizer = optim.Adam如何应用于DQN中的评估网络和目标网络的更新，给出pytorch代码
最新发布
09-13
在DQN（Deep Q-Network）中，评估网络和目标网络的更新是通过优化器`optim.Adam`来实现的。评估网络用于预测当前状态下采取不同行动的价值，而目标网络用于计算未来状态的预期回报。这两个网络的结构相同，但参数不同。 以下是使用PyTorch实现DQN中的评估网络和目标网络更新的代码： ```python import torch import torch.nn as nn import torch.optim as optim class DQN(nn.Module): def __init__(self, input_size, output_size): super(DQN, self).__init__() self.fc1 = nn.Linear(input_size, 128) self.fc2 = nn.Linear(128, 64) self.fc3 = nn.Linear(64, output_size) def forward(self, x): x = torch.relu(self.fc1(x)) x = torch.relu(self.fc2(x)) x = self.fc3(x) return x # 创建评估网络和目标网络 eval_net = DQN(input_size, output_size) target_net = DQN(input_size, output_size) # 将目标网络的参数设置为评估网络的参数 target_net.load_state_dict(eval_net.state_dict()) # 设置优化器 optimizer = optim.Adam(eval_net.parameters(), lr=0.001) # 训练过程 for episode in range(num_episodes): # ... 进行训练，获取经验数据（state, action, reward, next_state, done） # 计算损失函数 loss = compute_loss(states, actions, rewards, next_states, dones, eval_net, target_net) # 反向传播和优化 optimizer.zero_grad() loss.backward() optimizer.step() # 每隔一定的步骤，更新目标网络的参数 if episode % update_target_every == 0: target_net.load_state_dict(eval_net.state_dict()) ``` 在这个例子中，我们首先定义了一个名为`DQN`的神经网络类，它包含三个全连接层。然后，我们创建了评估网络`eval_net`和目标网络`target_net`，并将目标网络的参数设置为评估网络的参数。接下来，我们使用`optim.Adam`优化器来优化评估网络的参数。 在训练过程中，我们计算损失函数，然后使用优化器的`zero_grad()`方法清除梯度，执行反向传播`loss.backward()`，并使用`optimizer.step()`更新评估网络的参数。最后，我们每隔一定的步骤（例如每1000步）更新目标网络的参数，使其与评估网络保持一致。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值