pytorch checkpoint_PyTorch 预训练模型，保存，读取和更新模型参数以及多 GPU 训练模型...

加入极市专业CV交流群，与6000+来自腾讯，华为，百度，北大，清华，中科院等名企名校视觉开发者互动交流！更有机会与李开复老师等大牛群内互动！

同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。关注 极市平台 公众号 ，回复 加群，立刻申请入群~

作者：没头脑

https://zhuanlan.zhihu.com/p/75563856

来源：知乎，已获作者授权转载，禁止二次转载。

目录

1. PyTorch 预训练模型

2. 保存模型参数

3. 读取模型参数

4. 冻结部分模型参数，进行 fine-tuning

5. 模型训练与测试的设置

6. 利用 torch.nn.DataParallel 进行多 GPU 训练

1. PyTorch 预训练模型

Pytorch 提供了许多 Pre-Trained Model on ImageNet，仅需调用 torchvision.models 即可，具体细节可查看官方文档。

往往我们需要对 Pre-Trained Model 进行相应的修改，以适应我们的任务。这种情况下，我们可以先输出 Pre-Trained Model 的结构，确定好对哪些层修改，或者添加哪些层，接着，再将其修改即可。

比如，我需要将 ResNet-50 的 Layer 3 后的所有层去掉，在分别连接十个分类器，分类器由 ResNet-50.layer4 和 AvgPool Layer 和 FC Layer 构成。这里就需要用到 torch.nn.ModuleList