【深度之眼】Pytorch框架班第五期-Week4【任务1】第一节：权值初始化

权值初始化

梯度消失与爆炸

Xavier方法与Kaiming方法

Xavier初始化

方差一致性：保持数据尺度维持在恰当范围，通常方差为1
激活函数：饱和函数，如Sigmoid, Tanh

Kaiming初始化

方差一致性：保持数据尺度维持在恰当范围，通常方差为1
激活函数：ReLU及其变种

常用初始化方法

nn.init.calculate_gain

nn.init.calculate_gain(nonlinearity, param=None)

主要功能：计算激活函数的方差变化尺度
主要参数

• nonlinearity: 激活函数名称
• param: 激活函数的参数，如Leaky ReLU的negative_slop