网络训练时添加model.train(),测试时添加model.eval()
如果模型中有BN层(Batch Normalization)和Dropout,需要在训练时添加model.train(),在测试时添加model.eval()。
其中,model.train()是保证BN层用每一批数据的均值和方差,而model.eval()是保证BN用全部训练数据的均值和方差;
而对于Dropout,model.train()是随机取一部分网络连接来训练更新参数,而model.eval()是利用到了所有网络连接。
Batch Normalization
1、神经网络在训练过程中,数据分布对训练会产生影响,如下图所示
2、BN层对网络每一个隐藏层做归一化处理
3、BN层添加在激活函数之前
4、BN算法除了要标准化,还需要反标准化
反标准化:
加入了缩放参数 gamma和平移参数 β,它们是神经网络需要学习的参数。当标准化效果好时,尽量不抵消标准化的作用,而在标准化效果不好时,尽量去抵消一部分标准化的效果,相当于让神经网络学会要不要标准化,如何折中选择
Dropout
Dropout能够克服Overfitting,在每个训练Batch中,通过忽略一半的特征检测器,可以明显的减少过拟合现象
- 在训练中,每个隐层的神经元先乘以概率P,然后再进行激活
- 在测试中,所有的神经元先激活,然后每个隐层神经元的输出乘P