huggingface HF_HOME 更换缓存目录

已于 2023-12-01 08:53:59 修改
阅读量6.8k 收藏 6
点赞数 8
分类专栏： 自然语言处理 文章标签： transformer
于 2022-11-16 16:57:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sjxgghg/article/details/127888588
版权

默认情况下，下载数据集并缓存到 ~/.cache/huggingface/dataset.

您可以通过设置HF_HOME环境变量来自定义缓存的文件夹。
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

若配置完环境，发现并没有生效，基本解决思路: 重新打开命名窗口、应用。
若还不生效：那就 重启电脑！

from datasets import load_dataset

raw_datasets = load_dataset("glue", "mrpc")
raw_datasets

在这里插入图片描述
到此默认缓存目录切换成功

jieshenai
关注
  • 8
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
专栏目录
huggingface在本地缓存的glue（路径参考：~\.cache\huggingface\datasets\glue）
10-09
在运行TAADPapers的openattack或textattack中可能会用到的文件 ①背景：huggingface连不上 ②解决：主要采取下载到本地的方式运行代码（openattack可以直接改demo里的路径，很方便），有的代码可能不会修改模型和数据集的访问路径（textattack貌似封装的很好，在下找不到文件加载路径~） ③代码请求huggingface之前，会先在缓存文件里寻找，这个压缩文件是我本地缓存的glue，0积分下载，仅供参考~
linux更换常用软件的默认缓存路径（.conda, .huggingface等）
weixin_43301333的博客
10-13 1836
在使用linux的过程中，我们往往会使用软件安装很多packages，其中的大多数软件（例如conda）会把当前安装的packages缓存起来，以加速之后的相同package的安装。而很多软件的默认缓存路径是user自己的home路径。下面罗列几个常见的软件的缓存路径更改方法。
如何解决huggingface默认下载路径（windows）
weixin_74001851的博客
04-23 818
注意，这里我使用了--cache-dir而非--local-dir，我也是再其它博客上看到的，个人不知道是否有影响，如有影响请请在评论区指正。通常为.conda\envs\“虚拟环境名”\Lib\site-packages\huggingface_hub。到此位置，博主已经可以将huggingface的模型下载到指定文件夹了。将画横线的部分替换成自己指定的下载路径。
【candle】（2）：使用hf-mirror镜像下载TheBloke/Llama-2-7B-GGML的q4_0.bin文件，并设置HF_HOME，example模块可以识别下载的模型
freewebsys的专栏
12-16 1442
【candle】（2）：使用hf-mirror镜像下载TheBloke/Llama-2-7B-GGML的q4。还可以使用 https://aliendao.cn/#/ 进行加速下载。同时不要安装 rust-docs 有 700 多MB ，实在是没有用。
【修改huggingface transformers默认缓存文件夹】
热门推荐
zp_stu的博客
08-19 2万+
huggingface transformers; 默认缓存目录
【经验分享】huggingface模型加载过程下载到cache文件目录具体是怎么组织的？以及都会有什么文件目录，每个文件目录是什么？huggingface离线使用数据集、metric、模型文件的操作
BetrayFree的博客
12-05 5370
声明：经验之谈，如果不对，请用尿滋醒我！
修改huggingface的缓存路径
micah_yaokunkun的博客
10-24 5233
最近查了一下C盘爆满的原因，发现了huggingface的缓存文件这个罪魁祸首。代码更改（仅对当前python会话，下一次在新的环境中执行时就失效了）时，都会启用huggingface的缓存机制，将整个大文件下载至。我们可以发现，默认的缓存目录就是设置在C盘。中，从而保证下一次加载时非常快速。修改系统环境变量（Windows）
m7206_7216_7255f_7256hf_win driver.rar
06-01
m7206_7216_7255f_7256hf_win driver.rar
hf_ctp_c_proxy:最新版本已合并到 hf_ctp_py_proxy
05-01
最新版本合并到 hf_ctp_py_proxy 项目中，hf_ctp_c_proxy上期技术CTP封装,可用C#,PY等语言调用.采用最新CTP版本,支持期权交易.支持win和linux 64位系统.##C++封装的目的是什么?通过封装,将原DLL中无法访问到的函数...
DM00034566_CR95HF_
10-01
CR95HF Description use for MCU
SP6639HF_V13926596180.pdf
06-23
SP6639HF支持恒功率低压直充，内置MOS封装SOP8做27W以内方案
UnityPro_V131_HF_Multilanguages_Online_Help
09-01
施耐德 unity pro xl V13编程软件 中文帮助 文件 解决英文帮助改中文问题 文件大小1.25gb 安装编程软件后 直接运行此文件即可完成安装 亲测有效
AutoDL服务器huggingface模型下载到.cache了怎么办
Karl_Wayne的博客
12-22 1303
简而言之，local_dir里只有符号链接，真正的模型文件在.cache里。所以很容易想到把.cache里的文件移到数据盘，然后修改符号链接至新地址。
【Hugging Face】管理 huggingface_hub 缓存系统
weixin_46481662的博客
10-09 2076
这篇文档介绍了Hugging Face Hub的缓存系统。该系统旨在提供一个中央缓存，以便不同版本的文件可以被下载和缓存。缓存系统将文件组织成模型、数据集和空间等不同的目录，每个目录包含特定类型的文件。系统确保如果文件已经下载并更新，除非明确要求，否则不会再次下载。这篇文档还提到了一些关于缓存系统的具体信息，例如缓存目录的结构、文件夹中包含的文件类型以及如何检查和删除缓存。此外，文档还介绍了如何使用Hugging Face CLI工具来扫描和删除部分缓存。
修改 huggingface transformers 默认模型保存路径
yuezhilanyi的博客
04-23 8538
修改 huggingface transformers 的默认模型保存位置
HuggingFace下载模型默认保存在~/.cache/huggingface下面怎么修改这个路径？AutoModel.from_pretrained(‘bert-base-chinese‘, ca
CZXY18ji的博客
06-12 1906
AutoModel.from_pretrained(‘bert-base-chinese’, cache_dir=‘./’)
huggingface模型--下载超时--各种方法总结
mantoureganmian的专栏
05-05 7174
下载模型超时，模型存放在哪里？
小程序版python语言pytorch框架的图像分类猫的动作行为识别-不含数据集图片-含逐行注释和说明文档.zip
06-19
本代码是基于python pytorch环境安装的。 下载本代码后，有个环境安装的requirement.txt文本 如果有环境安装不会的，可自行网上搜索如何安装python和pytorch,这些环境安装都是有很多教程的，简单的 环境需要自行安装,推荐安装anaconda然后再里面推荐安装python3.7或3.8的版本，pytorch推荐安装1.7.1或1.8.1版本 首先是代码的整体介绍 总共是3个py文件，十分的简便 且代码里面的每一行都是含有中文注释的,小白也能看懂代码 然后是关于数据集的介绍。 本代码是不含数据集图片的，下载本代码后需要自行搜集图片放到对应的文件夹下即可 在数据集文件夹下是我们的各个类别,这个类别不是固定的，可自行创建文件夹增加分类数据集 需要我们往每个文件夹下搜集来图片放到对应文件夹下，每个对应的文件夹里面也有一张提示图，提示图片放的位置 然后我们需要将搜集来的图片，直接放到对应的文件夹下，就可以对代码进行训练了。 运行01数据集文本生成制作.py,是将数据集文件夹下的图片路径和对应的标签生成txt格式,划分了训练集和验证集 运行02深度学习模型训练.py,
大数据可视化大屏页面-大数据可视化展板通用模板+源代码+演示地址
最新发布
06-19
1、资源内容地址： https://blog.csdn.net/2301_78627004/article/details/136655536 2、代码特点：内含运行结果，不会运行可私信，参数化编程、参数可方便更改、代码编程思路清晰、注释明细，都经过测试运行成功，功能ok的情况下才上传的。 3、适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
AttributeError: module 'huggingface_hub.constants' has no attribute 'HF_HUB_CACHE'
02-01
AttributeError: module 'huggingface_hub.constants' has no attribute 'HF_HUB_CACHE' 是一个错误提示，意味着在 huggingface_hub.constants 模块中没有名为 'HF_HUB_CACHE' 的属性。 这个错误通常发生在使用 huggingface_hub 库时，可能是因为版本不兼容或者库未正确安装。解决这个问题的方法有以下几种： 1. 确保你已经正确安装了 huggingface_hub 库。可以使用以下命令来安装最新版本： ``` pip install huggingface_hub ``` 2. 检查你所使用的 huggingface_hub 版本是否支持 'HF_HUB_CACHE' 属性。可以查看官方文档或者库的更新日志来确认。 3. 如果你的代码中使用了 'HF_HUB_CACHE' 属性，可以尝试使用其他替代属性或者方法来达到相同的目的。 4. 如果以上方法都无效，可以尝试升级 huggingface_hub 库到最新版本，或者降级到一个稳定的版本。 希望以上方法能够帮助你解决问题！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

jieshenai

为了遇见更好的文章

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值