EfficientNet训练天坑——eval

一、背景描述

模型在训练过程中训练集和测试集准确率都很高：99%；

另外写一个代码进行测试，测试准确率极其拉跨：11%；

why?????各种修改，各种debug，各种死马当活马医；

最终发现一行代码就能解决：model.eval()

二、原因

在PyTorch中，model.eval() 是一种设置模型为评估模式的方法。在评估模式下，模型的行为会发生变化：

Batch Normalization 和 Dropout 的行为变化： 在训练过程中，Batch Normalization 和 Dropout 层通常会采用不同的行为。在评估时，model.eval() 会使得 Batch Normalization 使用全局统计信息而不是 batch 的统计信息，而 Dropout 层会变得无效。这是因为在测试时我们不再需要通过 batch 的统计信息来进行归一化或者随机失活。

在测试阶段，为了得到模型的最终输出而不影响其行为，通常会调用 model.eval() 来确保上述行为的改变。在训练阶段，你通常会使用 model.train() 来将模型设置为训练模式。

总结一下，model.eval() 主要是为了确保在测试阶段模型的行为与训练时一致，并减少内存占用。