Pytorch中的网络参数（权重）初始化函数总结

Pytorch之网络初始化

---

Pytorch中的网络参数初始化方法总结

权重初始化方法位于torch.nn.init中

 

1、torch.nn.init.calculate_gain(nonlinearity, param=None)

参数：nonlinearity - 非线性函数；param - 非线性函数的可选参数

对于给定的非线性函数，返回推荐的增益值。

 

2、常数初始化，torch.nn.init.constant_(tensor, val)

参数：
val用来填充张量的值

 

3、均匀分布初始化，torch.nn.init.uniform_(tensor, a=0, b=1)

从均匀分布U(a, b)中生成值，填充输入的张量或变量

参数：
a 均匀分布的下界
b 均匀分布的上界

 

4、正态分布初始化，torch.nn.init.normal_(tensor, mean=0, std=1)