修改 huggingface transformers 默认模型保存路径

背景

调用huggingface/transformers的模型时,会自动下载缓存模型至C盘,默认为

C:\Users\[user_name]\.cache\huggingface\hub

为了减少C盘空间的占用,需要将模型保存到别的位置。

可以使用

huggingface-cli scan-cache

来查看已缓存的模型及其位置,如下图所示

在这里插入图片描述

全局修改默认路径

  1. 新建环境变量 HF_HOME 或者 HUGGINGFACE_HUB_CACHE ,变量值为要改到的路径

在这里插入图片描述

  1. 查看更改后的路径

在这里插入图片描述

参考

Manage huggingface_hub cache-system

### 更改 Hugging Face Transformers 默认存储位置的方法 在使用 Hugging Face 的 `transformers` 库时,默认情况下,模型文件会被缓存在用户的主目录下的特定子目录中。如果需要更改此默认路径,则可以通过设置环境变量或直接传递参数来实现。 #### 方法一:通过环境变量设置新的缓存路径 Hugging Face 提供了一个名为 `HF_HOME` 或者更具体的 `TRANSFORMERS_CACHE` 环境变量用于指定缓存的位置。当这些环境变量被定义时,它们会覆盖默认缓存路径[^1]。 可以按照以下方式配置: 对于 Linux 和 macOS 用户,在终端运行命令: ```bash export TRANSFORMERS_CACHE=/path/to/your/custom/cache/directory ``` 对于 Windows 用户,在命令提示符下运行: ```cmd set TRANSFORMERS_CACHE=C:\path\to\your\custom\cache\directory ``` 完成上述操作后,任何后续调用都会自动将模型保存至新设定的路径。 #### 方法二:通过代码动态调整缓存路径 除了依赖于外部环境变量外,还可以直接在 Python 脚本内部临时改变缓存行为。这通常涉及创建一个新的实例并显式传入自定义路径作为参数之一。 下面是一个例子展示如何做到这一点: ```python from sentence_transformers import SentenceTransformer import os os.environ['TRANSFORMERS_CACHE'] = '/path/to/new_cache_directory' embeddings = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2") ``` 这里利用了 `os` 模块中的方法重新设置了 `TRANSFORMERS_CACHE` 变量值。 #### 注意事项 无论采用哪种方式进行修改,请确保目标磁盘有足够的空间容纳所下载的大规模预训练模型,并且该路径具有读写权限以便程序能够正常访问和管理其中的数据文件。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值