PyTorch里面的torch.nn.Parameter()

torch.nn.parameter是一个被用作神经网络模块参数的tensor。这是一种tensor的子类。
parameters是张量的子类，当与模块s一起使用时，它们有一个非常特殊的属性——当它们被重新分配为模块属性时，它们会自动地添加到它的参数列表中，并且会出现在Parameters()迭代器中。分配一个张量没有这样的效果。这是因为可能希望在模型中缓存一些临时状态，比如RNN的最后一个隐藏状态。如果没有Parameter这样的类，这些临时人员也会被注册。 

import torch
import torch.nn as nn
from torch.optim import Adam
class NN_Network(nn.Module):
    def __init__(self, in_dim, hid, out_dim):
        super(NN_Network, self).__init__()
        self.linear1 = nn.Linear(in_dim, hid)   # 全连接层
        self.linear2 = nn.Linear(hid, out_dim)
        self.linear1.weight = torch.nn.Parameter(torch.zeros(in_dim,hid))
        self.linear1.bias = torch.nn.Parameter(torch.ones(hid))
        self.linear2.weight = torch.nn.Parameter(torch.zeros(hid,out_dim))
        self.linear2.bias = torch.nn.Parameter(torch.ones(out_dim))
    def forward(self, input_array):
        h = self.linear1(input_array)
        y_pred = self.linear2(h)
        return y_pred
in_d = 5
hidn = 2
out_d = 3
net = NN_Network(in_d, hidn, out_d)