PyTorch小技巧记录

记录一下常用的网络操作小技巧

• 有三个相同结构的网络模型, 并且参数名也相同，将其中两个模型的参数取平均作为第三个模型的参数 。 只融合某一层。

# model 
# alice_model
# bob_model
# 网络参数  ['conv1.weight', 'conv1.bias', 'conv2.weight', 'conv2.bias', 'fc1.weight', 'fc1.bias', 'fc2.weight', 'fc2.bias']    
# 只融合一层
with torch.no_grad():
    model.conv1.weight.set_((alice_model.conv1.weight+ bob_model.conv1.weight)/2.) 

• 有三个相同结构的网络模型, 并且参数名也相同，将其中两个模型的参数取平均作为第三个模型的参数 。融合所有层。

models = ['alice_model', 'bob_model', 'model']
with torch.no_grad():
    for param_name in models:
        eval(models[2]+'.'+ param_name).set_((eval(models[2]+'.'+ param_name) +\
                                    eval(models[2]+'.'+ param_name))/2.)

• 指定网络每一层学习速率

params_lr = []
base_lr = 0.01
params_dict_adapt = dict(Model.named_parameters())
for key,value in params_dict_adapt.items():
    if key[:19] == 'xxxxxx':#看具体网络层名称
        params_lr.append({'params': [value], 'lr': base_lr*0.00})
    else:
        params_lr.append({'params':[value],'lr':base_lr})

optimizer = optim.Adam(params_lr)
scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=4, gamma=0.5) #每4次epoch将学习率降低到一半

• 多个Dataloader中同时提取样本与标签

    for batch_idx,sample in enumerate(zip(train_loader1, train_loader2, train_loader3)):