Pytorch 模型训练模式和eval模型下差别巨大（Pytorch train and eval）附解决方案

当pytorch模型写明是eval()时有时表现的结果相对于train(True)差别非常巨大，这种差别经过逐层查看，主要来源于使用了BN，在eval下，使用的BN是一个固定的running rate，而在train下这个running rate会根据输入发生改变。

解决方案是冻住bn

def freeze_bn(m):
    if isinstance(m, nn.BatchNorm2d):
        m.eval()
model.apply(freeze_bn)

这样可以获得稳定输出的结果。