Pytorch模型训练相关---持续更新

1.pytorch方法中的model.train()和model.eval()

CSDN 【pytorch】model.train()和model.evel()的用法
CSDN Pytorch model.train model.eval

1.1 区别(因为在神经网络的训练和测试的时候，BN和Dropout要有不同的模式)

1.1.1 应用场景：

写在不同的位置是有原因的.

• model.train() 写在训练开始之前
• model.eval() 写在测试时候

这是因为如果神经网络的模型里有Batch Normalization层和Dropout, 就需要在训练时候添加model.train()，在测试时候添加model.eval().

model.train()用于保证BN层用每一批数据的均值和方差，而对于Dropout的话，model.train()是随机取一部分网络连接(好抽象，还需要完善)来训练更新参数.
================================================================================================================

model.eval()用于保证BN层用全部训练数据的均值和方差，而对于Dropout的话，model.eval()是利用了所有网络连接。
================================================================================================================
另一个博客里的说法是：
eval（）时，pytorch会自动把BN和DropOut固定住，不会取平均，而是用训练好的值。不然的话，一旦test的batch_size过小，很容易就会被BN层导致生成图片颜色失真极大。