xavier初始化_PyTorch参数初始化函数

介绍分两部分：

1. Xavier，kaiming系列；

2. 其他方法分布

Xavier初始化方法，论文在《Understanding the difficulty of training deep feedforward neural networks》

公式推导是从“方差一致性”出发，初始化的分布有均匀分布和正态分布两种。

1. Xavier均匀分布

torch.nn.init.xavier_uniform_(tensor, gain=1)

xavier初始化方法中服从均匀分布U(−a,a) ，分布的参数a = gain * sqrt(6/fan_in+fan_out)，

这里有一个gain，增益的大小是依据激活函数类型来设定

eg：nn.init.xavier_uniform_(w, gain=nn.init.calculate_gain('relu'))

PS：上述初始化方法，也称为Glorot initialization

---

基本思想是通过网络层时，输入和输出的方差相同，包括前向传播和后向传播。具体看以下博文：

1. 为什么需要Xavier 初始化？
   文章第一段通过sigmoid激活函数讲述了为何初始化？