huggingface下载慢，和更改默认缓存路径

JQbiu

于 2024-08-05 15:53:49 发布

阅读量261

点赞数 3

文章标签：缓存 python 深度学习计算机视觉

本文链接：https://blog.csdn.net/qq_36797410/article/details/140929055

版权

export HF_HOME="you cache path/.cache"
export HF_ENDPOINT=https://hf-mirror.com  # huggingface的国内镜像

我是在系统环境变量中改的

vim ~/.bashrc

在环境变量中添加，并保存：

export HF_HOME="you cache path/.cache"
export HF_ENDPOINT=https://hf-mirror.com  # huggingface的国内镜像

刷新环境变量：source ~/.bashrc

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

JQbiu

关注关注

3
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

修改huggingface模型的储存位置的设置方法

weixin_43178406的博客

01-20

7万+

本文主要介绍了修改huggingface模型的储存位置的设置方法，希望能对使用huggingface的同学们有所帮助。文章目录 1. 问题描述 2. 解决方案 2.1 解决方案一 2.2 解决方案二

huggingface datasets离线加载文件的解决方案

热门推荐

weixin_43178406的博客

08-22

5万+

本文主要介绍了huggingface datasets离线加载文件的解决方案，希望能对使用python huggingface datasets的同学们有所帮助。文章目录 1. 问题描述 2. 解决方案

参与评论您还未登录，请先登录后发表或查看评论

HuggingFace - linux环境修改下载默认缓存路径

Zhou_Dao的博客

07-11

307

本人两种方法均尝试。有效。

huggingface在本地缓存的glue（路径参考：~\.cache\huggingface\datasets\glue）

10-09

在运行TAADPapers的openattack或textattack中可能会用到的文件 ①背景：huggingface连不上 ②解决：主要采取下载到本地的方式运行代码（openattack可以直接改demo里的路径，很方便），有的代码可能不会修改模型和数据集的访问路径（textattack貌似封装的很好，在下找不到文件加载路径~） ③代码请求huggingface之前，会先在缓存文件里寻找，这个压缩文件是我本地缓存的glue，0积分下载，仅供参考~

修改huggingface的缓存路径

micah_yaokunkun的博客

10-24

7065

最近查了一下C盘爆满的原因，发现了huggingface的缓存文件这个罪魁祸首。代码更改（仅对当前python会话，下一次在新的环境中执行时就失效了）时，都会启用huggingface的缓存机制，将整个大文件下载至。我们可以发现，默认的缓存目录就是设置在C盘。中，从而保证下一次加载时非常快速。修改系统环境变量（Windows）

修改huggingface 的cache缓存路径

liguiyuan的博客

04-08

1522

找到自己安装的huggingface_hub下的constants.py 文件，比如我的文件位置在 lib/python3.10/site-packages/huggingface_hub 下。使用hugging face 来跑代码时，往往会把模型缓存到系统目录下，比如我的ubuntu系统就缓存到~.cache目录下。把 default_home 修改为自己需要保存的文件路径即可。

hugging face 预训练模型缓存目录修改

qq_37683597的博客

12-23

1051

设置hugging face cache目录

不会修改HuggingFace模型下载默认缓存路径？一篇教会你!

DaVenci的博客

04-15

1万+

草履虫都能看懂的HuggingFace的Transformers库模型缓存路径修改教程。

huggingface模型下载地址更改

10-20

如果你想修改huggingface模型的下载地址，可以使用以下方法： ...例如，使用以下代码可以将默认的缓存路径更改为指定路径： import os os.environ['TRANSFORMERS_CACHE'] = '/home/transformers/cache'

huggingface下载模型到哪里了

09-12

使用huggingface库下载的模型默认会存放在本地缓存目录中。根据引用中的信息，模型将被自动存放在路径'~/.cache/huggingface/hub/models--your-model-name/snapshots/xxxxxxxxxxxx'下。其中，'~'表示当前用户的家...

【经验分享】huggingface模型加载过程下载到cache文件目录具体是怎么组织的？以及都会有什么文件目录，每个文件目录是什么？huggingface离线使用数据集、metric、模型文件的操作

BetrayFree的博客

12-05

7624

声明：经验之谈，如果不对，请用尿滋醒我！

huggingface更改数据集、模型缓存目录

最新发布

qq_52028313的博客

07-24

290

若配置完环境，发现并没有生效，基本解决思路: 重新打开命名窗口、应用。默认情况下，下载的数据集缓存到。若还不生效：那就重启电脑！您可以通过设置HF_HOME。到此默认缓存目录切换成功。来自定义缓存的文件夹。，而下载的模型缓存到。

两步解决Hugging Face下载模型速度慢/连接超时/无法下载问题

MMMMMMNONG的博客

07-03

1574

两步解决Hugging Face下载模型速度慢/连接超时/无法下载问题

【问题解决】关于pip缓存，HUggingface缓存，HUggingface无法正常下载的问题解决

专注于人工智能的算法与应用

05-11

1283

第一个问题我在安装的pip install torch的时候，出现了C盘磁盘空间不够的问题但是我的环境明明在E盘啊，给我整不会了！！！后来发现是因为缓存的问题感觉理解缓存相关机制可以更好debug~先来回答缓存在哪里。

如何解决huggingface默认下载路径（windows）

weixin_74001851的博客

04-23

2178

注意，这里我使用了--cache-dir而非--local-dir，我也是再其它博客上看到的，个人不知道是否有影响，如有影响请请在评论区指正。通常为.conda\envs\“虚拟环境名”\Lib\site-packages\huggingface_hub。到此位置，博主已经可以将huggingface的模型下载到指定文件夹了。将画横线的部分替换成自己指定的下载路径。

如何修改hugging face的模型默认下载地址

zh515858237的专栏

06-14

7603

主要原因是hugging face 的数据缓存比较大，jupyter执行的时候，需要加一个环境变量。

HF基础环境配置

SENRANHumphrey的博客

05-08

658

(2)修改HF的默认目录,这样可以修改默认的下载地址了。这样在下载时使用的就是国内的镜像站了.

修改 huggingface transformers 默认模型保存路径

yuezhilanyi的博客

04-23

9380

修改 huggingface transformers 的默认模型保存位置