事情的过程:
某天git上clone了个项目下来跑着看看。环境搭好,数据路径改改,结果在我那显卡上竟然内存不足,抛出异常。没办法,把input batch调低点吧。ok跑起来了。
几个epoch过后loss 出现了nan。emmm 检测一下别人的模型 emmm vgg16 bn层版。。。某问题啊!!!再检测一下数据,也没出现数据异常的情况。。。百度吧。。。
一番百度过后,尝试了调整 学习率,更换优化函数。。。折腾了一个工作日无果。。。脑袋的毛又少了几根。回到git再看看别人的项目说明,没发现有什么特别需要注意的地方。
事情到了这里陷入了僵局,不知怎么的,脑袋搭错线,会不会是 input batch 导致的。。。试试吧,死马当活马医。把 input batch 调整到显卡能承受的极致,原来的2倍,显卡跑满,结果解决了。
此时我的内心一万匹草泥马飞奔中。。。显卡破害死人啊。。。
torch 训练过程中nan问题
最新推荐文章于 2024-07-06 10:22:38 发布