解决torchvision.model下载预训练模型太慢的问题

文章讲述了在PyTorch中,通过设置`pretrained`为`True`会联网下载预训练的ResNet18模型,导致加载速度较慢。而通过下载`.pth`文件并手动加载`state_dict`,可以显著加快加载过程。作者建议自行下载模型参数到本地以提高效率。
摘要由CSDN通过智能技术生成

以下代码等价,但第一种慢,第二种快:

import torchvision.models as models

self.resnet = models.resnet18(pretrained=True)  #  联网下载,慢
self.model = models.resnet18(pretrained=False)
state_dict = torch.load('src/model/resnet18-5c106cde.pth')  # 自己从网上下载.pth,快
self.model.load_state_dict(state_dict)  # 再把读出来的参数放进没有参数的模型

当pretrained=True,才会联网下载模型,否则很快,仅得到一个没训练过的模型。

.pth文件或者state_dict变量:模型参数,里面是模型每一层具体的浮点数

model:模型,不含参数

model和.pth如果是对应的,就可以用model.load_state_dict加载。注意这条语句是在模型上直接修改,不应写成model = model.load_state_dict。

所以我们可以自己在浏览器下载模型,然后加载进去。那么去哪里下载呢?Ctrl+函数打开源码自己就可以找到。

模型训练速度逐渐变慢可能是由多种因素导致的,具体可能包括: 1. 数据量增加:随着训练的进行,如果所使用的数据集很大,或者训练过程中数据被不断重新加载,这可能会导致读取和处理数据的速度下降。 2. 网络结构复杂:模型变得越来越复杂,例如层数加深、神经元数量增加等,都会使得计算量变大,从而导致训练速度下降。 3. 参数更新频率:随着训练的进行,更新参数的频率可能会对速度产生影响。如果在训练的后期阶段调整学习率,可能需要更多的迭代次数才能收敛。 4. 硬件资源限制:例如显存不足或CPU、GPU的计算能力成为瓶颈。当模型或数据集过大时,可能无法完全载入到内存中,导致频繁的内存交换,从而减慢了训练速度。 5. 超参数设置:不恰当的超参数设置,例如太大的批次大小(batch size)或学习率,可能导致模型收敛速度变慢,从而感觉训练速度变慢。 6. 梯度消失或爆炸:训练过程中如果出现梯度消失或爆炸的情况,可能会导致训练过程中需要更多的时间进行调整,从而使得训练速度变慢。 为了解决或缓解模型训练速度变慢的问题,可以尝试以下策略: - 优化数据加载和预处理流程,比如使用更高效的数据读取和预处理方法。 - 简化网络结构,例如减少层数或神经元数量。 - 调整学习率和参数更新策略,使用学习率衰减或自适应学习率优化算法。 - 利用硬件加速,比如使用GPU或TPU,或合理分配内存和显存。 - 调整模型的超参数设置,例如适当的批次大小和正则化方法。 - 使用梯度剪切、权重正则化或批量归一化等技术来防止梯度消失或爆炸。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

__心似大海__

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值