torch.nn.Parameter

最新推荐文章于 2025-06-04 10:15:16 发布

BJRSR

最新推荐文章于 2025-06-04 10:15:16 发布

阅读量748

点赞数

CC 4.0 BY-SA版权

分类专栏： pytorch

本文链接：https://blog.csdn.net/weixin_40823740/article/details/117960041

pytorch 专栏收录该内容

42 篇文章

订阅专栏

该博客介绍了PyTorch中的Module类如何管理Parameter子类，这些Parameter在与Module一起使用时会自动加入参数列表，便于计算梯度。示例展示了一个简单的NN_Network，通过初始化设置了线性层的权重和偏置，并输出了网络的参数及其尺寸，最后计算了网络的总参数数。

Parameter是Tensor的子类，同时拥有一种非常特殊的性质：当他们与Module S一起使用时，也就是说当它们作为Module参数进行使用时，它们会自动添加到Module的参数列表中，并且出现在parameters()迭代器里。(这样就可以自动计算梯度等)

import torch.nn as nn
import torch
import math
import torch.nn.functional as F
import numpy as np

class NN_Network(nn.Module):
    def __init__(self, in_dim, hidden_dim, out_dim):
        super(NN_Network, self).__init__()
        self.linear1 = nn.Linear(in_dim, hidden_dim)
        self.linear2 = nn.Linear(hidden_dim, out_dim)
        self.linear1.weight = torch.nn.Parameter(torch.zeros(in_dim,hidden_dim))
        self.linear1.bias = torch.nn.Parameter(torch.ones(hidden_dim))
        self.linear2.weight = torch.nn.Parameter(torch.zeros(hidden_dim,out_dim))
        self.linear2.bias = torch.nn.Parameter(torch.ones(out_dim))
    def forward(self,input):
        out = self.linear1(input)
        y_pred = self.linear2(out)
        return y_pred
in_d = 5
hidn = 2
out_d = 3
net = NN_Network(in_d,hidn,out_d)
for param in net.parameters():
    print(type(param),param.size())

# 计算网络参数的数目：
nb_param = 0
for param in net.parameters():
    # print(f'params.data:{param.data}')
    print(f'parms.data.size():{param.data.size()}')
    print(f'list(param.data.size()):{list(param.data.size())}')
    nb_param += np.prod(list(param.data.size()))
print(f'number of parameters:{nb_param}')

----------------------------------------------
res:
<class 'torch.nn.parameter.Parameter'> torch.Size([5, 2])
<class 'torch.nn.parameter.Parameter'> torch.Size([2])
<class 'torch.nn.parameter.Parameter'> torch.Size([2, 3])
<class 'torch.nn.parameter.Parameter'> torch.Size([3])
parms.data.size():torch.Size([5, 2])
list(param.data.size()):[5, 2]
parms.data.size():torch.Size([2])
list(param.data.size()):[2]
parms.data.size():torch.Size([2, 3])
list(param.data.size()):[2, 3]
parms.data.size():torch.Size([3])
list(param.data.size()):[3]
number of parameters:21
-------------------------------------------------