pytorch加载torchvision中预训练好的模型时,更改模型保存地址

入门小菜鸟,希望像做笔记记录自己学的东西,也希望能帮助到同样入门的人,更希望大佬们帮忙纠错啦~侵权立删。

感谢【Pytorch】加载torchvision中预训练好的模型并修改默认下载路径(使用models.__dict__[model_name]()读取) - 灰信网(软件开发博客聚合)

今天我在执行这行代码时,它开始给我把resnet101的预训练模型下载安装在我的C盘里!!!

model = getattr(models, backbone)(pretrained)

可是我的C盘已经要这样了

所以我想给他更改一下它的默认保存途径,方法——改源码


因为我下载的是resnet101,所以我去找resnet.py的源码。

1、查找安装环境的默认所在路径

那么如何能找到自己的那些环境的包放在哪呢?

来,进行一波操作

conda list

这样在最前面我们就可以看到

packages in environment xxxxx

这个xxx就是你安装环境的地址

2、找到其中的torchvision包,进而找源码

resnet.py的源码的位置应该在这个xxx加上/lib/python3.7/site-packages/torchvision/models/里面

model_urls = {
    'resnet18': 'https://download.pytorch.org/models/resnet18-5c106cde.pth',
    'resnet34': 'https://download.pytorch.org/models/resnet34-333f7ec4.pth',
    'resnet50': 'https://download.pytorch.org/models/resnet50-19c8e357.pth',
    'resnet101': 'https://download.pytorch.org/models/resnet101-5d3b4d8f.pth',
    'resnet152': 'https://download.pytorch.org/models/resnet152-b121ed2d.pth',
}
def resnet101(pretrained=False, **kwargs):
    """Constructs a ResNet-101 model.

    Args:
        pretrained (bool): If True, returns a model pre-trained on ImageNet
    """
    model = ResNet(Bottleneck, [3, 4, 23, 3], **kwargs)
    if pretrained:
        model.load_state_dict(model_zoo.load_url(model_urls['resnet101']))
    return model

可以看到这个下载安装是由model_zoo.load_url()所决定的,赶紧康康他在哪

import torch.utils.model_zoo as model_zoo

好嘞~顺藤摸瓜

3、找到torch包中的model_zoo.py

位置应该在这个xxx加上/lib/python3.7/site-packages/torch/utils/里的model_zoo.py

很好只有一条线索,省得我去找(bushi

from torch.hub import tqdm, load_state_dict_from_url as load_url  # noqa: F401

load_url就是load_state_dict_from_url,在torch.hub里

4、找到torch包中的hub.py

def load_state_dict_from_url(url, model_dir=None, map_location=None, progress=True, check_hash=False, file_name=None):

分析代码发现安装的路径是由model_dir决定的,所以我们把model_dir=None中的None改成你想要的安装地址,就OK啦~


欢迎大家在评论区批评指正,谢谢大家~

  • 5
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
### 回答1: 在PyTorch加载预训练模型,如果不想使用多GPU,可以通过以下步骤进行操作。 首先,我们需要导入必要的库和模块: ```python import torch import torchvision.models as models ``` 接下来,我们可以选择要加载预训练模型。这里以ResNet-50为例: ```python model = models.resnet50(pretrained=True) ``` 接下来,我们需要检查当前系统的GPU数量。可以使用`torch.cuda.device_count()`来获取GPU的数量。 ```python gpu_count = torch.cuda.device_count() ``` 如果`gpu_count`的值大于1,表示有多个GPU可用。为了确保模型只在单个GPU上运行,我们需要使用`torch.nn.DataParallel`模块。但是,如果不想使用多GPU,则需要取消这个模块的使用。 如果只有一个GPU可用,我们可以简单地将模型转移到该GPU上: ```python if gpu_count == 1: model = model.cuda() ``` 如果有多个GPU可用,我们可以使用`torch.nn.DataParallel`模块来加载预训练模型,并将模型转移到主GPU上: ```python if gpu_count > 1: model = torch.nn.DataParallel(model).cuda() ``` 最后,我们可以使用加载预训练模型进行后续操作。 总之,为了不使用多GPU进行模型加载,我们需要通过检查GPU数量,并相应地转移到单个GPU或使用`torch.nn.DataParallel`模块转移到主GPU上。这样可以确保模型在单个GPU上运行而不会使用多GPU。 ### 回答2: 在PyTorch加载预训练模型,如果不希望使用多个GPU上的module,可以通过以下步骤实现: 首先,使用torch.load()函数加载预训练模型的权重和参数,例如: ```python model_state_dict = torch.load('pretrained_model.pth') ``` 然后,在加载模型之前,可以通过修改model_state_dict来删除原模型包含的多GPU相关的module前缀。默认情况下,PyTorch保存模型,会自动添加"module."前缀来标识使用多GPU。例如,如果模型原本的键名为"module.conv1.weight",则可以通过以下代码提取模型参数的键名: ```python new_model_state_dict = {} for k, v in model_state_dict.items(): name = k[7:] # 去掉"module."前缀 new_model_state_dict[name] = v ``` 接下来,创建新的模型实例,并将修改后的参数加载到该实例: ```python model = YourModel() # 创建新的模型实例 model.load_state_dict(new_model_state_dict) # 加载修改后的模型参数 ``` 注意,这里的YourModel()应该是与预训练模型相同的模型类实例化得到的对象。 通过这样的处理,就可以将预训练模型加载到单个GPU上的模型,而无需考虑多GPU的module问题。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

tt丫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值