1. 序列化与反序列化
- 序列化:将内存中的每一个对象保存到硬盘当中,以二进制序列的形式存储下来
- 反序列化:将硬盘中存储的二进制数据反序列化的放到内存当中
2. 模型保存与加载的两种方式
pytorch当中的序列化与反序列化函数:
-
torch.save
- 主要参数:
- obj:对象
- f:输出路径
- 主要参数:
-
torch.load
- 主要参数:
- f:文件路径
- map_location:指定存放位置,cpu or gpu
- 主要参数:
有两种保存模型的方法:
- 方法1:保存整个Module, torch.save(net, path)
- 方法2:保存模型参数(模型的可学习参数,推荐)
- state_dict = net.state_dict()
- torch.save(state_dict, path)
3. 模型断点续训练
解决意外中断,可继续训练的问题
参数保存:
checkpoint_interval = 5
"""省略了模型实现代码,checkpoint保存参数部分应该在模型训练部分,每个epoch中"""
if (epoch+1) % checkpoint_interval == 0:
checkpoint = {"model_state_dict": net.state_dict(),
"optimizer_state_dict": optimizer.state_dict(),
"epoch": epoch}
path_checkpoint = "./checkpoint_{}_epoch.pkl".format(epoch)
torch.save(checkpoint, path_checkpoint)
checkpoint加载恢复:
保持原实现代码不变,在模型训练部分之前,加入断电恢复代码,如下所示:
path_checkpoint = "./checkpoint_4_epoch.pkl"
checkpoint = torch.load(path_checkpoint)
net.load_state_dict(checkpoint['model_state_dict'])
optimizer.load_state_dict(checkpoint['optimizer_state_dict'])
start_epoch = checkpoint['epoch']
scheduler.last_epoch = start_epoch