Pytorch: model.eval(), model.train() 讲解

两者只在一定的情况下有区别：训练的模型中含有dropout 和 batch normalization

1. model.eval()

在模型测试阶段使用

pytorch会自动把BN和DropOut固定住，不会取每个batchsize的平均，而是用训练好的值。
不然的话，有输入数据，即使不训练，它也会改变权值。

一旦test的batch_size过小，很容易就会被BN层导致生成图片颜色失真极大；

测试模型的时候
一般model.eval() 和 with torch.no_grad() 一起使用。

model.eval()

with torch.no_grad():
    ...
    out_data = model(data)
    ...
model.train() #最后别忘记加上

2. model.train()

让model变成训练模式，此时 dropout和batch normalization的操作在训练q起到防止网络过拟合的问题

总结： model.train() 和 model.eval() 一般在模型训练和评价的时候会加上这两句，主要是针对由于model 在训练时和评价时 Batch Normalization 和 Dropout 方法模式不同；
因此，在使用PyTorch进行训练和测试时一定注意要把实例化的model指定train/eval；

在训练的时候, 会计算一个batch内的mean 和var， 但是因为是小batch小batch的训练的，所以会采用加权或者动量的形式来将每个batch的 mean和var来累加起来，也就是说再算当前的batch的时候，其实当前的权重只是占了0.1, 之前所有训练过的占了0.9的权重，这样做的好处是不至于因为某一个batch太过奇葩而导致的训练不稳定。
好，现在假设训练完成了, 那么在整个训练集上面也得到了一个最终的”mean 和var”, BN层里面的参数也学习完了(如果指定学习的话),而现在需要测试了，测试的时候往往会一张图一张图的去测，这时候没有batch而言了，对单独一个数据做 mean和var是没有意义的, 那么怎么办，实际上在测试的时候BN里面用的mean和var就是训练结束后的mean_final 和 val_final. 也可说是在测试的时候BN就是一个变换。所以在用pytorch的时候要注意这一点，在训练之前要有model.train() 来告诉网络现在开启了训练模式，在eval的时候要用”model.eval()”, 用来告诉网络现在要进入测试模式了.因为这两种模式下BN的作用是不同的。

https://blog.csdn.net/qq_32678471/article/details/102892930