![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 54
皮皮鲁与鲁西西�
这个作者很懒,什么都没留下…
展开
-
pytorch训练过程中出现NAN问题复盘
pytorch训练过程中出现NAN问题复盘原创 2023-01-05 19:53:10 · 4457 阅读 · 0 评论 -
【突然科研】解决分布式训练时突然断开并报错
今天在训模型时突然报错查了一下可能是内存问题,但有观察显存一直是比较稳定的。请教了一下群里的大佬可能是cpu内存不足,进程被系统杀掉。因为终端没有输出详细报错信息,大佬建议我去/var/log下查系统日志【凡是被系统kill的都会写进系统日志里的】通过命令sudo egrep -i -r 'killed process' /var/log或者用专门的dmesgsudo dmesg|grep -i kill | less查到:果然是内存不足被杀了,然后top看了一下果然cpu被占满了原创 2022-04-13 23:05:51 · 652 阅读 · 1 评论 -
【突然炼丹】模型加载预训练权重
最近被找实习搞累了突然开始炼丹???场景:在centerpoint里面加了个小模块。之前有原网络训练好的权重,与当前网络并不完全匹配(当前网络有新加的层,也有去掉的原网络的部分层)。现在不希望从头开始训,希望使用原网络的部分权重。。。我用reusme_from 加载,但报错说。“ValueError: loaded state dict contains a parameter group that doesn’t match the size of optimizer’s”可以看到网络层不匹原创 2022-04-11 20:59:31 · 483 阅读 · 1 评论