为什么要进行权值初始化
深度神经网络经常会遇到梯度消失或者梯度爆炸现象。为什么会出现这种现象呢?熟悉链式求导法则的大家都知道,梯度是一些量的连乘,这些当中最重要的就是模型的输出。如果这时,模型的输出过大或者过小,将会导致梯度过大或过小(神经元死亡)。而控制模型输出的大小,跟模型的输入和模型的参数有关。所以从这个角度来看,我们是希望模型的输出是比较稳定的(也就是输出的方差比较稳定)。当然,也有其他方面的原因。比如说,如果模型的参数初始化刚好在模型最优解的附近,那么模型的优化将变得十分简单。
权值初始化的例子
def initialize_weights(self):
for m in self.modules:
# 对卷积层进行初始化
if isinstance(m, nn.Conv2d):
torch.nn.init.xavier_normal_(m.weight.data)
if m.bias is not None:
m.bias.data.zero_()
# 对BN层进行初始化
elif isinstance(m, nn.BatchNorm2d):
m.weight.data.fill_(1)
m.bias.data.ze