踩坑日记：pytorch模型训练train模式和eval模式结果相差甚远？

如我在文中对相关术语和概念的描述错误或不准确，欢迎评论区指正！谢谢～

---

参考博文：
Pytorch 查看模型参数_happyday_d的博客-CSDN博客_pytorch查看模型参数

https://www.jb51.net/article/189288.htm

---

最近在利用pytorch进行transformer模型训练的时候发现，明明训练的时候loss已经降到非常低、在调试模式下结果也十分理想，在测试集上生成的结果却非常离谱，无论是分类结果还是回归结果都不符合预期，以下通过整个调试过程阐述产生这种现象可能的原因，希望能够帮到你：
【本文运行环境：ubuntu16.04 + vscode      语言：python】

1、排查训练的模型加载是否有问题：
    最直观的方式是将加载进来的模型权重参数打印出来看一看，正常情况下只要模型路径正确且模型确实成功加载了，在两种模式下的权重参数应该没有区别。

for parameters in net.parameters():
    print(parameters)

2、模型调参和反复训练尝试：<