pytorch
文章平均质量分 93
Charles5101
USTC
展开
-
Pytorch踩坑记录——model.eval()
最近在写代码时遇到一个问题,原本训练好的模型,加载进来进行inference准确率直接掉了5个点,尼玛,这简直不能忍啊~本小白下意识地感知到我肯定又在哪里写了bug了~~~于是开始到处排查,从model load到data loader,最终在一个被我封装好的module的犄角旮旯里找到了问题,于是顺便就在这里总结一下,避免以后再犯。 对于训练好的模型加载进来准确率和原先的不符,无外乎有两方面的原因:1)data; 2)model.state_dict() 。1) data...原创 2020-05-15 23:12:00 · 12069 阅读 · 9 评论 -
ubuntu14.04安装pytorch (CPU版)
本人近期在自己的电脑上安装了pytorch,遇到了一些小问题,导致Ubuntu系统崩了,最后只能重装。所以记下来自己遇到的一些坑,希望能让其他人避免这些问题。 本人之前是通过pip安装的,结果在使用过程中老是提示我有未安装的依赖库,查看了一下网上的教程,上面建议更新Ubuntu14.04自带的Python版本2.7.6至2.7.14. 我照着做了,于是悲剧就来了。 我...原创 2018-05-28 17:23:40 · 3852 阅读 · 0 评论 -
PyTorch中使用预训练的模型初始化网络的一部分参数(增减网络层,修改某层参数等) 固定参数
详细内容参见博客链接:https://blog.csdn.net/TTdreamloong/article/details/84823705转载 2019-08-24 16:25:00 · 1334 阅读 · 0 评论 -
【Pytorch】利用预训练模型初始化backbone时的常见问题及方案
在训练模型时,我们常常需要利用预训练的baseline模型对所设计网络的backbone或部分layer进行初始化,给网络训练提供一个较好的起点,同时减少训练的时间成本。比较常见的就是利用imagenet上训练好的标准网络来初始化新网络的部分层。在进行初始化时,往往会出现两种情况:一种是待初始化的层键值和预训练模型是匹配的;一种是二者键值不匹配,在键值名称上有少许差异。针对这两种情况,处理...原创 2019-09-19 17:35:34 · 4535 阅读 · 0 评论 -
Pytorch多卡训练踩坑记录——inputs on different devices
pytorch中设置多卡训练时,操作比较简便,只要定义了模型,然后加上如下一行指令就可以。model = nn.DataParallel(model).cuda()但是,在pytorch中进行多卡训练还是会遇到一些其他的问题。执行的上述指令后,pytorch会自动在每块卡上都复制一份模型,同时将input batch size等分。比如设置了8张GPU训练,那么每块卡上的batch si...原创 2019-10-08 21:44:39 · 2424 阅读 · 0 评论