torch 训练过程中nan问题

事情的过程:
某天git上clone了个项目下来跑着看看。环境搭好,数据路径改改,结果在我那显卡上竟然内存不足,抛出异常。没办法,把input batch调低点吧。ok跑起来了。
几个epoch过后loss 出现了nan。emmm 检测一下别人的模型 emmm vgg16 bn层版。。。某问题啊!!!再检测一下数据,也没出现数据异常的情况。。。百度吧。。。
一番百度过后,尝试了调整 学习率,更换优化函数。。。折腾了一个工作日无果。。。脑袋的毛又少了几根。回到git再看看别人的项目说明,没发现有什么特别需要注意的地方。
事情到了这里陷入了僵局,不知怎么的,脑袋搭错线,会不会是 input batch 导致的。。。试试吧,死马当活马医。把 input batch 调整到显卡能承受的极致,原来的2倍,显卡跑满,结果解决了。
此时我的内心一万匹草泥马飞奔中。。。显卡破害死人啊。。。

已标记关键词 清除标记
相关推荐
【为什么还需要学习C++?】 你是否接触很多语言,但从来没有了解过编程语言的本质? 你是否想成为一名资深开发人员,想开发别人做不了的高性能程序? 你是否经常想要窥探大型企业级开发工程的思路,但苦于没有基础只能望洋兴叹?   那么C++就是你个人能力提升,职业之路进阶的不二之选。 【课程特色】 1.课程共19大章节,239课时内容,涵盖数据结构、函数、类、指针、标准库全部知识体系。 2.带你从知识与思想的层面从0构建C++知识框架,分析大型项目实践思路,为你打下坚实的基础。 3.李宁老师结合4大国外顶级C++著作的精华为大家推出的《征服C++11》课程。 【学完后我将达到什么水平?】 1.对C++的各个知识能够熟练配置、开发、部署; 2.吊打一切关于C++的笔试面试题; 3.面向物联网的“嵌入式”和面向大型化的“分布式”开发,掌握职业钥匙,把握行业先机。 【面向人群】 1.希望一站式快速入门的C++初学者; 2.希望快速学习 C++、掌握编程要义、修炼内功的开发者; 3.有志于挑战更高级的开发项目,成为资深开发的工程师。 【课程设计】 本课程包含3大模块 基础篇 本篇主要讲解c++的基础概念,包含数据类型、运算符等基本语法,数组、指针、字符串等基本词法,循环、函数、类等基本句法等。 进阶篇 本篇主要讲解编程常用的一些技能,包含类的高级技术、类的继承、编译链接和命名空间等。 提升篇: 本篇可以帮助学员更加高效的进行c++开发,其包含类型转换、文件操作、异常处理、代码重用等内容。
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页