pytorch 26 科学炼丹（训练）方式之——魔改网络（给模型做外科手术，实现module的删除、修改与添加，forward流程的修改）

万里鹏程转瞬至

已于 2023-09-03 14:01:02 修改

阅读量1.9k

点赞数 1

分类专栏： pytorch工程实践文章标签： pytorch 深度学习人工智能

于 2022-05-16 18:27:07 首次发布

本文链接：https://blog.csdn.net/a486259/article/details/124805102

版权

pytorch工程实践专栏收录该内容

48 篇文章 199 订阅 ¥59.90 ¥99.00

订阅专栏

本文介绍了如何在PyTorch中对预训练模型进行微调，包括使用model.add_module添加Module，重定义forward流程以修改模型行为，以及通过setattr和封装函数实现Module的修改与删除。文章以AlexNet为例，详细阐述了这些操作的具体实现和应用。

摘要由CSDN通过智能技术生成

网络结构层出不穷，但经典网络总是大家工程上的最爱。有的时候需要对网络进行微操，直接该源码一是工作量太大；二是破坏了原来的网络结构会导致预训练权重无法加载。因此，可以在加载预训练权重后对模型进行微操。
本博文实现了模型中module的删除、修改与添加、以及模型forward流程的修改（重定义），后续将会以模型库中预定义的AlexNet为例子进行实操。

1、module的添加

该操作通过model.add_module实现，具体可见下列代码示意。且通过该操作添加的模块，其参数和可以被model.named_parameters、model.parameters等方法获取到的。

import torch
from torch import nn
import torch.nn.functional as F
from torchvision.models import alexnet

# 以AlexNet为例子
model = alexnet(pretrained=False)
model.eval()
##通过该方法可以实现模块的新增，新增模块并不会被加入到forward流程。
model.add_module('external_bn1',nn.BatchNorm2d(num_features=256))#该模块，不会被加入到模型的forward流程中
#model.add_module('features.external_bn1',

了解本专栏