model.named_parameters()
return
: 返回model的所有参数的(name, tensor)的键值对。可以修改参数的requires_grad属性。
用法
: 常用于对网络的参数进行一些特殊的处理(比如 fine-tuning)。
no_decay = ['bias', 'LayerNorm.weight']
optimizer_grouped_parameters = [
{'params': [p for n, p in model.named_parameters() if not any(nd in n for nd in no_decay)], 'weight_decay': 1e-2},
{'params': [p for n, p in model.named_parameters() if any(nd in n for nd in no_decay)], 'weight_decay': 0.0}
]
# AdamW是实现了权重衰减的优化器
optimizer = AdamW(optimizer_grouped_parameters, lr=1e-5)
model.parameters()
return
: 返回model的所有参数的tensor。可以修改参数的requires_grad属性。
用法
: 主要提供给optimizer。
optimizer = torch.optim.Adam(model.parameters(), args.learning_rate, betas=(args.momentum, 0.999))
model.state_dict()
return
: 返回model的参数的(name, tensor)的键值对字典,参数的requires_grad=false,不可以修改参数的requires_grad属性。
用法
: 常用于保存模型和加载模型的时候使用。
torch.save(model.state_dict(),"model.path") # 保存参数
model = model() # 代码中创建网络结构
params = torch.load("model.path") # 加载参数
model.load_state_dict(params) # 应用到网络结构中