Pytorch model中的遍历模型的参数

Pytorch model中的遍历模型的参数

0、model.named_parameters()

return:返回model的所有参数的(name, tensor)的键值对。可以修改参数的requires_grad属性。

用法 : 常用于对网络的参数进行一些特殊的处理（比如 fine-tuning）。

print(type(model.named_parameters()))  # 返回的是一个generator
 
for para in model.named_parameters(): # 返回的每一个元素是一个元组 tuple 
    '''
    是一个元组 tuple ,元组的第一个元素是参数所对应的名称，第二个元素就是对应的参数值
    '''
    print(para[0],'\t',para[1].size())
 #####结果########
'''
conv1.weight     torch.Size([32, 3, 3, 3])
conv1.bias       torch.Size([32])
conv2.weight     torch.Size([32, 3, 3, 3])
conv2.bias       torch.Size([32])
dense1.weight    torch.Size([128, 288])
dense1.bias      torch.Size([128])
dense2.weight    torch.Size([10, 128])
dense2.bias      torch.Size([10])
'''

no_decay = ['bias', 'LayerNorm.weight']
optimizer_grouped_parameters = [
        {
   'params':