pytorch代码块

1、Pytorch只训练部分层（多用于迁移学习）
首先载入训练好的模型：

pretrained_params = torch.load('Pretrained_Model'）
model = The_New_Model(xxx)
model.load_state_dict(pretrained_params.state_dict(), strict=False)#model.load_state_dict(torch.load('model.pkl'))

其次需要filter函数过滤不需要训练的参数：
parms = filter(lambda p: p.requires_grad, model.parameters())
其次若是Variable，则可以初始化的时候指定requires_grad=True。若是普通神经网络层，没有requires_grad，可以如下：

for i in m.parameters():
    i.requires_grad=False

最后在nn.Module中，即定义网络层的中间部分，插入如下代码也可以实现前面的不训练，后面的训练。

for p in self.parameters():
    p.requires_grad=False

2、各层采用不同的学习率
如果载入的这些参数中，所有参数都更新，但要求一些参数学习率不一样，最好知道这些参数的名称都有什么：

for name, value in model.named_parameters():
    print(name)

假设要求encode、viewer的学习率为1e-6， decoder的学习率为1e-4，那么在将参数传入优化器时：

ignored_params = list(map(id, model.decoder.parameters()))
base_params = filter(lambda p: id(p) not in ignored_params, model.parameters())
optimizer = torch.optim.Adam([{'params':base_params,'lr':1e-6},
                              {'params':model.decoder.parameters()}
                              ],
                              lr=1e-4, momentum=0.9)

3、调整学习率的衰减
4、保存网络

//两种方法
torch.save(net1, 'net.pkl') # 保存整个网络
torch.save(net1.state_dict(), 'net_params.pkl') # 只保存网络中的参数 (速度快, 占内存少)

在用保存的模型测试的时候需要加上**model.eval()：**否则的话，有输入数据，即使不训练，它也会改变权值。这是model中含有batch normalization层所带来的的性质。
5、判断是否GPU训练

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
print(device)
print(torch.cuda.get_device_name(0))

6、优化器optimizer的写法

// getattr函数：返回对象optim的属性值
optimizer = getattr(optim, args.optim)(model.parameters(), lr=args.lr)
//等价的两种方式
parms = filter(lambda p: p.requires_grad, model.parameters())
#filter 函数将模型中属性 requires_grad = True 的参数帅选出来，传到优化器中，只有这些参数会被求导数和更新。
optimizer = optim.Adam(parms, lr=config.lr)