nn.init 中实现的初始化函数 uniform, normal, const, Xavier, He initialization

参考  nn.init 中实现的初始化函数 uniform, normal, const, Xavier, He initialization - 云+社区 - 腾讯云

1. 均匀分布

torch.nn.init.uniform_(tensor, a=0, b=1)
服从~U(a,b)

U(a,b)

2. 正太分布

torch.nn.init.normal_(tensor, mean=0, std=1)
服从~N(mean,std)

N(mean,std)

3. 初始化为常数

torch.nn.init.constant_(tensor, val)
初始化整个矩阵为常数val

4. Xavier

基本思想是通过网络层时，输入和输出的方差相同，包括前向传播和后向传播。具体看以下博文：

1. 为什么需要Xavier 初始化？
   文章第一段通过sigmoid激活函数讲述了为何初始化ÿ