Pytorch固定部分参数（层）进行训练

网络中所有操作对象都是Varoable对象，而Variable有两个参数可用于固定参数：requires_grad和volatile。

一：requires_grad参数设置

Method 1: 初始化时指定，如下语句所示：

x = Variable(torch.randn(2, 3), requires_grad=True)
y = Variable(torch.randn(2, 3), requires_grad=False)

注意：Variable中requires_grad的默认值为False，但是Module中的层在定义时，相关的Variable中的requires_grad默认都是True。在计算图中，如果有一个输入的requires_grad是True，那么输出的requires_grad也是True。所以为了更方便的进行参数固定，建议使用Method 2 。

Method 2：网络模型中设置。在训练中想要固定网络的底层，可以令这部分网络对应的子图的参数requires_grad为False。这样在反向传播的过程中就不会计算这些参数对应的梯度。需要在nn.Module中直接插入如下语句：

for p in self.parameters():
    p.requires_grad=False

 

For example 1: 在加载预训练模型后，在原来的基础上添加一部分的网络，这样可以固定原来的参数，然后只训练添加的这部分网络，结束后再全部训练。

class RESNET_attention(nn.Module):
    def __init__(self, m