保存与加载
上一章节主要介绍了如何调整超参数,并进行网络模型训练。在训练网络模型的过程中,实际上我们希望保存中间和最后的结果,用于微调(fine-tune)和后续的模型推理与部署,本章节我们将介绍如何保存与加载模型。
%%capture captured_output
# 实验环境已经预装了mindspore==2.2.14,如需更换mindspore版本,可更改下面mindspore的版本号
!pip uninstall mindspore -y
!pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore==2.2.14
import numpy as np
import mindspore
from mindspore import nn
from mindspore import Tensor
def network():
model = nn.SequentialCell(
nn.Flatten(),
nn.Dense(28*28, 512),
nn.ReLU(),
nn.Dense(512, 512),
nn.ReLU(),
nn.Dense(512, 10))
return model
保存和加载模型权重
保存模型使用save_checkpoint
接口,传入网络和指定的保存路径:
model = network()
mindspore.save_checkpoint(model, "model.ckpt")
要加载模型权重,需要先创建相同模型的实例,然后使用load_checkpoint
和load_param_into_net
方法加载参数。
model = network()
param_dict = mindspore.load_checkpoint("model.ckpt")
param_not_load, _ = mindspore.load_param_into_net(model, param_dict)
print(param_not_load)
[]
param_not_load
是未被加载的参数列表,为空时代表所有参数均加载成功。
保存和加载MindIR
除Checkpoint外,MindSpore提供了云侧(训练)和端侧(推理)统一的中间表示(Intermediate Representation,IR)。可使用export
接口直接将模型保存为MindIR。
model = network()
inputs = Tensor(np.ones([1, 1, 28, 28]).astype(np.float32))
mindspore.export(model, inputs, file_name="model", file_format="MINDIR")
MindIR同时保存了Checkpoint和模型结构,因此需要定义输入Tensor来获取输入shape。
已有的MindIR模型可以方便地通过load
接口加载,传入nn.GraphCell
即可进行推理。
nn.GraphCell
仅支持图模式。
mindspore.set_context(mode=mindspore.GRAPH_MODE)
graph = mindspore.load("model.mindir")
model = nn.GraphCell(graph)
outputs = model(inputs)
print(outputs.shape)
(1, 10)
心得
本节内容比较简单,有趣的是中间表达式,利用这个可以方便的部署,打开一个中间表达式文件如下:
0.1.1 MindSpore*2.2.14:掹�
�
H63_1_mindspore_nn_layer_container_SequentialCell_construct_15:input_dataB63_1_mindspore_nn_layer_container_SequentialCell_construct_15:16:1B63_1_mindspore_nn_layer_container_SequentialCell_construct_15:16:1"REF::Flatten:2*
shapeb��:Default/0-Flatten/Flatten-op0B
checkpoint�
2ValueNode_17ValueNode_17"Constant*
value�
�
F63_1_mindspore_nn_layer_container_SequentialCell_construct_15:1.weight
ValueNode_17H63_1_mindspore_nn_layer_container
````
可以看到IR文件的前部分是模型的定义,后面是各个参数值
# 心得
这一部分还是比较简单的,主要是存储相应的模型参数,方便后面使用,另外可以用于防止程序意外终止后,很长时间的机时的浪费,而可以从上次开始的地方继续训练,但是恢复状态也没有这么容易,需要仔细分析要保存的内容,包括参数、当前EPOCH等。