torch 训练过程中nan问题
事情的过程:
某天git上clone了个项目下来跑着看看。环境搭好,数据路径改改,结果在我那显卡上竟然内存不足,抛出异常。没办法,把input batch调低点吧。ok跑起来了。
几个epoch过后loss 出现了nan。emmm 检测一下别人的模型 emmm vgg16 bn层版。。。某问题啊!!!再检测一下数据,也没出现数据异常的情况。。。百度吧。。。
一番百度过后,尝试了调整 学习率,更换优化函数。。。折腾了一个工作日无果。。。脑袋的毛又少了几根。回到git再看看别人的项目说明,没发现有什么特别需要
原创
2021-01-27 12:59:39 ·
1825 阅读 ·
0 评论