pytorch学习之权值初始化

权值初始化

当搭建好模型之后，就会遇见权值初始化，良好的初始化能够让模型更好的收敛。如果初始化不合适的话，容易出现梯度爆炸或者消失，而无法很好的训练

针对这个问题提出了一系列的初始化方法

Xavier初始化

方差一致性：保持数据尺度维持在恰当的范围，通常方差为1

这类初始化方法是针对的饱和函数，如：sigmoid、Tanh

Understanding the difficulty of training deep feedforward neural networks

def initialize(self):
	for m in self.modules():
		if isinstance(m, nn.Linear):

			# 计算数据输送到激活函数中标准差的变化，即激活函数增益

			tanh_gain = nn.init.calculate_gain('tanh')  
			nn.init.xavier_uniform_(m.weight.data, gain=tanh_gain)

其中nn.init.calculate_gain

主要功能：计算激活函数的方差变化尺度

主要参数：

• nonlinearity：激活函数名称
• param：激活函数的参数，如Leaky ReLu的negative_slop

Kaiming初始化

当激活函数变成ReLU之后，Xavier初始化就不再适用了。针对这个问题何凯明大神提出了Kaiming初始化

方差一致性：保持数据尺度维持在恰当范围，通常方差为1

激活函数：ReLU及其变种

Delving Deep into Rectifiers:
Surpassing Human-Level Performance on ImageNet Classification

nn.init.kaiming_normal_(m.weight.data)