一、model.train()和model.eval()分别在训练和测试中都要写,它们的作用如下:
(1)、 model.train()
启用BatchNormalization
和 Dropout
,将BatchNormalization
和Dropout
置为True
(2)、 model.eval()
不启用 BatchNormalization
和 Dropout
,将BatchNormalization
和Dropout
置为False
二、区别
如果模型中有BN层(Batch Normalization)和Dropout,需要在训练时添加model.train(),在测试时添加model.eval()。其中model.train()是保证BN层用每一批数据的均值和方差,而model.eval()是保证BN用全部训练数据的均值和方差;而对于Dropout,model.train()是随机取一部分网络连接来训练更新参数,而model.eval()是利用到了所有网络连接。
训练完train样本后,生成的模型model要用来测试样本。在model(test)之前,需要加上model.eval(), 否则的话,有输入数据,即使不训练,它也会改成权值。这是model中含有batch normalizaition层所带来的的性质。
在做one classification的时候,训练集和测试集的样本分布是不一样的,尤其注意这一点。