huggingface HF_HOME 更换缓存目录

已于 2023-12-01 08:53:59 修改
阅读量9.4k 收藏 8
点赞数 9
分类专栏： 自然语言处理 文章标签： transformer
于 2022-11-16 16:57:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sjxgghg/article/details/127888588
版权

默认情况下，下载数据集并缓存到 ~/.cache/huggingface/dataset.

您可以通过设置HF_HOME环境变量来自定义缓存的文件夹。
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

若配置完环境，发现并没有生效，基本解决思路: 重新打开命名窗口、应用。
若还不生效：那就 重启电脑！

from datasets import load_dataset

raw_datasets = load_dataset("glue", "mrpc")
raw_datasets

在这里插入图片描述
到此默认缓存目录切换成功

修改Huggingface模型的存储位置的设置方法
CodeHeroicX的博客
09-06 1760
通过设置自定义的模型存储路径，我们可以将Huggingface模型存储在不同的位置，以满足个性化需求。我们可以将模型存储在本地文件夹中，也可以将模型存储在远程服务器上。在使用Huggingface库时，默认情况下，模型和相关文件会存储在预定义的位置。然而，有时候我们可能希望将模型文件存储在不同的位置，例如自定义的文件夹或者远程服务器上。除了将模型存储在本地文件夹中，我们还可以将模型存储在远程服务器上，以便在需要时进行访问和下载。首先，让我们看看如何将模型存储在自定义的文件夹中。在上述代码中，我们将。
Huggingface默认下载的缓存目录的环境变量的设置
人工智能
10-12 1032
设置HF_HOME环境变量 、TRANSFORMERS_CACHE、HUGGINGFACE_HUB_CACHE都可以更改缓存目录。
huggingface在本地缓存的glue（路径参考：~\.cache\huggingface\datasets\glue）
10-09
在运行TAADPapers的openattack或textattack中可能会用到的文件 ①背景：huggingface连不上 ②解决：主要采取下载到本地的方式运行代码（openattack可以直接改demo里的路径，很方便），有的代码可能不会修改模型和数据集的访问路径（textattack貌似封装的很好，在下找不到文件加载路径~） ③代码请求huggingface之前，会先在缓存文件里寻找，这个压缩文件是我本地缓存的glue，0积分下载，仅供参考~
Hugging Face 的模型文件默认缓存目录
Leon_Jinhai_Sun的博客
03-22 965
可以使用百度的 PaddleNLP 替代 Hugging Face 的嵌入模型，并实现基于 Ollama 的 RAG 系统。
修改huggingface 的cache缓存路径
liguiyuan的博客
04-08 2976
找到自己安装的huggingface_hub下的constants.py 文件，比如我的文件位置在 lib/python3.10/site-packages/huggingface_hub 下。使用hugging face 来跑代码时，往往会把模型缓存到系统目录下，比如我的ubuntu系统就缓存到~.cache目录下。把 default_home 修改为自己需要保存的文件路径即可。
修改huggingface的缓存路径
micah_yaokunkun的博客
10-24 1万+
最近查了一下C盘爆满的原因，发现了huggingface的缓存文件这个罪魁祸首。代码更改（仅对当前python会话，下一次在新的环境中执行时就失效了）时，都会启用huggingface的缓存机制，将整个大文件下载至。我们可以发现，默认的缓存目录就是设置在C盘。中，从而保证下一次加载时非常快速。修改系统环境变量（Windows）
不会修改HuggingFace模型下载默认缓存路径？一篇教会你!
热门推荐
DaVenci的博客
04-15 3万+
草履虫都能看懂的HuggingFace的Transformers库模型缓存路径修改教程。
修改HuggingFace模型默认缓存路径
leo0308的博客
03-18 727
huggingface模型的默认缓存路径是通常修改为自己的路径会更为方便。
huggingface下载提示huggingface_hub.errors.EntryNotFoundError,,,如何解决？
最新发布
**My Coding Family**
04-30 629
🏆 本文收录于《全栈Bug调优(实战版)》专栏，致力于分享我在项目实战过程中遇到的各类Bug及其原因，并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者，本文将为你指引出一条更高效的Bug修复之路，助你早日登顶，迈向财富自由的梦想🚀！同时，欢迎大家关注、收藏、订阅本专栏，更多精彩内容正在持续更新中。让我们一起进步，Up！Up！Up！    备注： 部分问题/难题源自互联网，经过精心筛选和整理，结合数位十多年大厂实战经验资深大佬经验总结所得，数条可行方案供所需之人参考。
python系列&deep_study系列：HuggingFace CLI 命令全面指南
weixin_54626591的博客
07-29 960
HuggingFace CLI 命令全面指南
【Hugging Face】管理 huggingface_hub 缓存系统
weixin_46481662的博客
10-09 2957
这篇文档介绍了Hugging Face Hub的缓存系统。该系统旨在提供一个中央缓存，以便不同版本的文件可以被下载和缓存。缓存系统将文件组织成模型、数据集和空间等不同的目录，每个目录包含特定类型的文件。系统确保如果文件已经下载并更新，除非明确要求，否则不会再次下载。这篇文档还提到了一些关于缓存系统的具体信息，例如缓存目录的结构、文件夹中包含的文件类型以及如何检查和删除缓存。此外，文档还介绍了如何使用Hugging Face CLI工具来扫描和删除部分缓存。
HuggingFace CLI 命令全面指南
全世界的博客
06-19 3万+
通过设置HF_HOME环境变量，可以指定 HuggingFace 工具链的缓存目录。默认情况下，缓存目录位于。在使用 HuggingFace CLI 下载文件时，默认情况下文件会被下载到由HF_HOME环境变量定义的缓存目录中。然而，有时用户可能希望将文件下载到特定的本地目录，以便更好地管理和使用这些文件。为此，HuggingFace CLI 提供了选项，允许用户指定自定义的下载路径。浏览器网页下载是最直接的下载方式，适用于小文件或不需要频繁下载的场景。
HuggingFace - linux环境 修改下载默认缓存路径
Zhou_Dao的博客
07-11 995
本人两种方法均尝试。有效。
配置Huggingface的默认下载路径|配置HF_HOME环境变量
liushur的博客
11-16 908
但是在jypyter中使用huggingface的相关package的时候，仍旧会使用默认的路径，需要在代码中添加下面代码。在终端中配置hugging face的默认下载路径一般通过在.bashrc中加入下面的代码。使用.py和.ipykernel运行下面代码的时候，得到的结果是不同的。在.py中的许多环境变量在.ipykernel中是看不到的。虽然这样可以临时解决问题，但是却也不是长久之计。
Unbuntu设置Hugging Face下载的本地缓存路径
weixin_50702814的博客
08-04 786
记录知识点
【经验分享】huggingface模型加载过程下载到cache文件目录具体是怎么组织的？以及都会有什么文件目录，每个文件目录是什么？huggingface离线使用数据集、metric、模型文件的操作
BetrayFree的博客
12-05 1万+
声明：经验之谈，如果不对，请用尿滋醒我！
huggingface更改数据集、模型缓存目录
qq_52028313的博客
07-24 1130
若配置完环境，发现并没有生效，基本解决思路: 重新打开命名窗口、应用。默认情况下，下载的数据集缓存到。若还不生效：那就 重启电脑！您可以通过设置HF_HOME。到此默认缓存目录切换成功。来自定义缓存的文件夹。，而下载的模型缓存到。
【修改huggingface transformers默认缓存文件夹】
zp_stu的博客
08-19 2万+
huggingface transformers; 默认缓存目录
export HF_HOME="/path/to/you/dir"
03-17
### 设置 HF_HOME 环境变量的路径 为了正确设置 `HF_HOME` 环境变量的路径，可以按照以下方法操作： #### 方法一：通过 Shell 配置文件永久设置 可以在用户的 shell 配置文件中添加环境变量定义。对于大多数 Linux 发行版，默认使用的配置文件可能是 `/etc/environment` 或者用户家目录下的 `.bashrc`、`.zshrc` 文件。 以下是具体的操作步骤说明： 1. 打开终端并编辑对应的配置文件。例如，如果使用的是 Bash，则可以通过命令 `nano ~/.bashrc` 编辑该文件。 2. 添加如下内容以设置 `HF_HOME` 路径： ```bash export HF_HOME="/目标/路径" ``` 这里的 `/目标/路径` 是希望 Hugging Face 使用的新缓存路径[^4]。 3. 保存文件后运行以下命令使更改生效： ```bash source ~/.bashrc ``` #### 方法二：临时设置（仅当前会话有效） 如果只需要在一个特定的任务或者脚本执行期间改变此变量而不需要长期修改系统配置的话，可以直接在命令行输入上述导出语句来实现即时效果而不影响其他地方的行为模式。 ```bash export HF_HOME="/新的/缓存/位置/" ``` 注意这种方式只会在当前shell session里起作用；一旦关闭窗口或退出登录就会丢失这些设定值[^5]。 #### 方法三：Jupyter Notebook 中动态调整 当处于 Jupyter notebook 环境下工作时，即使已经全局设置了某些环境参数也可能因为启动方式等原因未能被识别采用。此时可在 Python script 内部手动指定它们的位置信息作为替代方案之一。 ```python import os os.environ['HF_HOME'] = '/data1/example_user/cache' os.environ['HUGGINGFACE_HUB_CACHE'] = '/data1/example_user/cache' os.environ['XDG_CACHE_HOME']='/data1/example_user/cache' ``` 以上代码片段展示了怎样利用 python 的内置模块 os 来重新分配三个不同但相互关联的 cache directories 给 hugging face 库用作存储模型及其他资源之用途。 最后提醒一下，完成任何一种形式上的改动之后都应该验证其实际成果是否符合预期。比如加载数据集测试能否成功读取到新地址中的资料等行为表现正常与否即为良好指示器之一。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

jieshenai

为了遇见更好的文章

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值