pytorch 中遇到的若干bug记录

1. 在使用了AMP (自动混合精度)之后，模型的训练进程偶尔会出现很奇怪的现象。 在训练到某个epoch之后，验证集的acc变为0%， 经过调试之后发现是AMP的scaler的导致的。一般来说，scale在遇到loss为nan后，会停止本次更新，降低对loss的scale，但是我的代码在运行过程中出现-inf，而在最后经过sigmoid，结果变为0 ，从而导致loss变为常数，而非NaN，所以这当然是有问题的… (补充一下为什么要用scale,当某些计算经过amp变成版精度计算的以后，有一些少于16bit的梯度值可能会直接变为0，从而出现数值计算的上溢或下溢，pytorch使用GradScale来解决UnderFlow问题。具体可参考PyTorch的自动混合精度（AMP）
   )
2. 低级错误，验证集和训练集使用了不同的mean和std，导致验证集的指标比训练集低很多。

------------------------- 持续更新ing ---------------------------