前言:
pytorch在训练的时候不定时的保存模型,防止因为异常中断而造成前功尽弃。
但是pytorch中保存模型的情况有很多种,导致加载保存后的模型会出现各种各样的问题,
博主在学习过程中也遇到很多麻烦,总结一下,如有错误请指出。
一、预备知识点
(搬运) 下面是这个链接的简化版本,也够用了。
PyTorch 中,一个模型(torch.nn.Module
)的可学习参数(也就是权重和偏置值)是包含在模型参数(model.parameters()
)中的,一个状态字典就是一个简单的 Python 的字典,其键值对是每个网络层的名字和其对应的参数张量(这里的张量其实就是训练得到的参数值)。模型的状态字典只包含带有可学习参数的网络层(比如卷积层、全连接层等)和注册的缓存(batchnorm
的 running_mean
)。优化器对象(torch.optim
)同样也是有一个状态字典,包含的优化器状态的信息以及使用的超参数。
由于状态字典也是 Python 的字典,因此对 PyTorch 模型和优化器的保存、更新、替换、恢复等操作都是基于字典完成的。
1.1 举个栗子
下面的三行代码,可以说明这个问题,稍微解释一下:
第1行:yourNet是自己搭建的网络,一般是一个类的形式,将该类进行一个初始化
第2行:将模型的参数转化为字典,键对应层的名字,值对应相应的参数
第3行:打印网络参数
打印的结果如下,(太长了只截取一小部分)
这个是模型中所有的参数 对应的字典,可能你会有