如何根据自己需求设定,可学习参数,并进行初始化。
#比如cnn输出4个东西,你又不想concate到到一起,你想用权重加法,权重又不想自己设定,想让网络自己学
#requires_grad=True这个很重要
#设置前置网络及 可学习参数
self.cnn=cnn_output4()
self.fuse_weight_1 = torch.nn.Parameter(torch.FloatTensor(1), requires_grad=True)
self.fuse_weight_2 = torch.nn.Parameter(torch.FloatTensor(1), requires_grad=True)
self.fuse_weight_3 = torch.nn.Parameter(torch.FloatTensor(1), requires_grad=True)
self.fuse_weight_4 = torch.nn.Parameter(torch.FloatTensor(1), requires_grad=True)
#初始化
self.fuse_weight_1.data.fill_(0.25)
self.fuse_weight_2.data.fill_(0.25)
self.fuse_weight_3.data.fill_(0.25)
self.fuse_weight_4.data.fill_(0.25)
def forward(x):
x1,x2,x3,x4=self.cnn(x)
return fuse_weight_1*x1+fuse_weight_2*x2+fuse_weight_3*x3+fuse_weight_4*x4