在TensorFlow中,权重的初始化主要是在声明张量的时候进行的。 而PyTorch则提供了另一种方法:首先应该声明张量,然后修改张量的权重。通过调用torch.nn.init包中的多种方法可以将权重初始化为直接访问张量的属性。
1、不初始化的效果
在Pytorch中,定义一个tensor,不进行初始化,打印看看结果:
w = torch.Tensor(3,4)
print (w)
可以看到这时候的初始化的数值都是随机的,而且特别大,这对网络的训练必定不好,最后导致精度提不上,甚至损失无法收敛。
2、初始化的效果
PyTorch提供了多种参数初始化函数:
- torch.nn.init.constant(tensor, val)
- torch.nn.init.normal(tensor, mean=0, std=1)
- torch.nn.init.xavier_uniform(tensor, gain=1)
等等。详细请参考:http://pytorch.org/docs/nn.html#torch-nn-init
注意上面的初始化函数的参数tensor,虽然写的是tensor,但是也可以是Variable类型的。而神经网络的参数类型Parameter是Varia