本文内容:
1. Xavier 初始化
2. nn.init 中各种初始化函数
3. He 初始化
torch.init https://pytorch.org/docs/stable/nn.html#torch-nn-init
1. 均匀分布
torch.nn.init.uniform_(tensor, a=0, b=1)
服从~ U ( a , b ) U(a, b) U(a,b)
2. 正太分布
torch.nn.init.normal_(tensor, mean=0, std=1)
服从~ N ( m e a n , s t d ) N(mean, std) N(mean,std)
3. 初始化为常数
torch.nn.init.constant_(tensor, val)
初始化整个矩阵为常数val
4. Xavier
基本思想是通过网络层时,输入和输出的方差相同,包括前向传播和后向传播。具体看以下博文:
- 为什么需要Xavier 初始化?
文章第一段通过sigmoid激活函数讲述了为何初始化?
简答的说就是:
- 如果初始化值很小,那么随着层数的传递,方差就会趋于0,此时输入值 也变得越来越小,在sigmoid上就是在0附近,接近于线性,失去了非线性
- 如果初始值很大,那么随着层数的传递,方差会迅速增加,此时输入值变得很大,而sigmoid在大输入值写倒数趋近于0,反向传播时会遇到梯度消失的问题
其他的激活函数同样存在相同的问题。
https://prateekvjoshi.com/2016/03/29/understanding-xavier-initialization-in-deep-neural-networks/
所以论文提出,在每一层网络保证输入和输出的方差相同。
2. xavier初始化的简单推导
https://blog.csdn.net/u011534057/article/details/51673458
对于Xavier初始化方式,pytorch提供了uniform和normal两种:
torch.nn.init.xavier_uniform_(tensor, gain=1)
均匀分布 ~ U ( − a , a ) U(-a,a ) U(−a,a)
其中, a的计算公式: a = g a i n × 6 f a n _ i n + f a n _