基于Anaconda创建的虚拟环境,修改预训练模型下载的路径

当使用PyTorch加载如VGG16、VGG19等预训练模型时,模型默认下载到C盘。为改变这一行为,需找到Anaconda环境中hub.py文件,修改load_state_dict_from_url函数中的model_dir参数,指定自定义保存路径,以避免大模型占用C盘空间。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

当用pytorch加载预训练模型如VGG16,VGG19等,使用以下代码进行加载模型时

vgg16_false=torchvision.models.vgg16(pretrained=False)

模型默认会被下载到C盘,并不会下载到你所创建的虚拟环境下。有些小模型还好,但是有的模型大大的,我们就最好将这个模型下载到别的盘去,这时就可以进行修改保存路径。

 首先我们找到在Anaconda创建好的环境地址,然后找到F:\conda_environment\pytorch\Lib\site-packages\hub.py文件。(如下是我自己创建的在F盘名字为pytorch的虚拟环境)

打开这个hub.py文件然后找到这个函数:load_state_dict_from_url

 可以看到这里的model_dir=None,这样系统就默认下载位置在C盘(本文开头那个位置)

我们可以在  model_dir= 

直接修改位置如下所示

 这样在重新运行我们之前的预训练模型的下载代码,就可以将模型保存到我们设置的路径中去了。

注:如果使用不同的虚拟环境下载这种预训练模型,都要进行修改保存路径,不然还是会被下载到C盘中去。

### 修改 Hugging Face 在 Anaconda 环境中保存文件的默认路径 为了更改 Hugging Face 模型或数据集在 Anaconda 环境中的默认保存路径,可以通过设置特定的环境变量来实现。这些环境变量可以覆盖默认的行为。 #### 设置新的缓存目录 对于 Linux 和 macOS 用户,默认情况下,Hugging Face 使用 `~/.cache/huggingface/hub` 作为缓存目录[^1]。此行为可通过定义 `TRANSFORMERS_CACHE`, `.HUGGINGFACE_HUB_CACHE`, 或者 `HF_HOME` 这些 shell 环境变量之一来进行改变。优先级顺序是从高到低依次为: - `TRANSFORMERS_CACHE` - `.HUGGINGFACE_HUB_CACHE` - `HF_HOME` 例如,在 Bash 中临时设置一个新的缓存位置可以在命令行输入如下指令: ```bash export TRANSFORMERS_CACHE=/path/to/new/cache/directory ``` 对于 Windows 用户,默认存储位置位于 `C:\Users\username\.cache\huggingface\hub`。同样地,也可以通过上述提到的环境变量来调整这个位置。Windows PowerShell 可以这样操作: ```powershell $env:TRANSFORMERS_CACHE="D:\new_cache_directory" ``` #### 创建并配置 Conda 虚拟环境 当希望在一个独立于其他项目的环境中工作时,建议创建专门用于该项目的新 Conda 环境,并在此环境下应用自定义的环境变量设置。这有助于保持不同项目之间的隔离性和一致性。 创建新环境的方法如下所示: ```bash conda create -p /desired/path/to/env python=3.x ``` 其中 `/desired/path/to/env` 是你想要放置该环境的具体路径[^2]。之后激活新建好的环境再执行上面介绍过的关于设定缓存路径的操作即可。 #### 自动化设置 为了让每次启动终端都能自动加载所需的环境变量而无需手动重复设置,可以把相应的导出语句加入到个人初始化脚本里(比如 `.bashrc`, `.zshrc` 文件)。对于 Windows,则可在系统的高级系统属性->环境变量界面做持久化的变更处理。 #### 注意事项 需要注意的是,部分资源可能涉及权限验证等问题[^5];因此确保按照官方指南完成必要的授权步骤非常重要。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值