torch 训练过程中nan问题

事情的过程:
某天git上clone了个项目下来跑着看看。环境搭好,数据路径改改，结果在我那显卡上竟然内存不足，抛出异常。没办法，把input batch调低点吧。ok跑起来了。
几个epoch过后loss 出现了nan。emmm 检测一下别人的模型 emmm vgg16 bn层版。。。某问题啊！！！再检测一下数据,也没出现数据异常的情况。。。百度吧。。。
一番百度过后，尝试了调整 学习率，更换优化函数。。。折腾了一个工作日无果。。。脑袋的毛又少了几根。回到git再看看别人的项目说明，没发现有什么特别需要注意的地方。
事情到了这里陷入了僵局，不知怎么的，脑袋搭错线，会不会是 input batch 导致的。。。试试吧，死马当活马医。把 input batch 调整到显卡能承受的极致，原来的2倍，显卡跑满，结果解决了。
此时我的内心一万匹草泥马飞奔中。。。显卡破害死人啊。。。