pytorch Parameter 设置 可学习参数

一般来说,pytorch 的Parameter是一个tensor,但是跟通常意义上的tensor有些不一样

1)通常意义上的tensor 仅仅是数据

2)而Parameter所对应的tensor 除了包含数据之外,还包含一个属性:requires_grad(=True/False)

  在Parameter所对应的tensor中获取纯数据,可以通过以下操作:

        param_data = Parameter.data

 

根据自己的需要设定可学习参数，进行初始化连通模型一起训练保存参数。

#比如cnn输出4个东西，你又不想concate到到一起，你想用权重加法，权重又不想自己设定，想让网络自己学

#requires_grad=True这个很重要

#设置前置网络及 可学习参数
self.cnn=cnn_output4()
self.fuse_weight_1 = torch.nn.Parameter(torch.FloatTensor(1), requires_grad=True)
self.fuse_weight_2 = torch.nn.Parameter(torch.FloatTensor(1), requires_grad=True)
self.fuse_weight_3 = torch.nn.Parameter(torch.FloatTensor(1), requires_grad=True)
self.fuse_weight_4 = torch.nn.Parameter(torch.FloatTensor(1), requires_grad=True)
 
#初始化
self.fuse_weight_1.data.fill_(0.25)
self.fuse_weight_2.data.fill_(0.25)
self.fuse_weight_3.data.fill_(0.25)
self.fuse_weight_4.data.fill_(0.25)
 
def forward(x):
    x1,x2,x3,x4=self.cnn(x)
    return fuse_weight_1*x1+fuse_weight_2*x2+fuse_weight_3*x3+fuse_weight_4*x4