pytorch -不同网络层设置不同学习率
当使用预训练模型时,如果对主干网络以外的网络分支进行了单独的修改并进行初始化,而主干网络层的参数仍采用预训练模型的参数进行初始化,则希望在训练过程中,主干网络只进行微调,不需要过多的改变参数,因此设置较小的学习率,而修改后的网络分支需要以较大的步子进行收敛,学习率设置需要大一点。
具体代码示例:
params = [
{"params": [value] for _, value in model.module.sharedNet.named_parameters() if value.requires_grad},
{"params": [value for _, value in model.module.cls_fc_son1.named_parameters() if value.requires_grad], 'lr': args.lr * 10},
{"params": [value for _, value in model.module.cls_fc_son2.named_parameters() if value.requires_grad], 'lr': args.lr * 10},
{"params": [value for _, value in model.module.sonnet1.named_parameters() if value.requires_grad], 'lr': args.lr * 10},
{"params": [value for _, value in model.module.sonnet2.named_parameters() if value.requires_grad], 'lr': args.lr * 10},
]
optimizer = torch.optim.Adam(params, lr=args.lr, weight_decay=args.weight_decay)