hugging face 预训练模型缓存目录修改

搞图形学的渣渣

已于 2023-12-23 22:40:57 修改

阅读量1.3k

点赞数 9

分类专栏： Python 文章标签：缓存 python 深度学习

于 2023-12-23 21:16:44 首次发布

本文链接：https://blog.csdn.net/qq_37683597/article/details/135174546

版权

Python 专栏收录该内容

7 篇文章

订阅专栏

修改hugging face cache目录

hugging face预训练模型都特别大，系统tmp空间很可能不够

这时候需要修改cache到自定义的还有空间的目录。

官网上这么解释的，我不再作过多解释：
在这里插入图片描述
把以下的代码在终端运行，或者加入bashrc中

# /my_dir/tmp是我设置的新的缓存目录，你需要修改成你自己的目录
export HF_HOME=/my_dir/tmp
export XDG_CACHE_HOME=/my_dir/tmp
export TRANSFORMERS_CACHE=/my_dir/tmp

参考文献

[1] huggingface官网

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

搞图形学的渣渣

关注关注

9
点赞
踩
10

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

修改HuggingFace模型的储存路径设置方法Python

学习使你进步。

05-24

3253

总之，我们可以通过以上方法轻松地修改HuggingFace模型的储存路径设置。尤其是在需要将模型存储在指定位置的应用场景下，这一功能将会非常实用。但是，在某些情况下，我们需要将模型存储在指定的位置。本文将介绍如何通过Python代码来修改HuggingFace模型的储存路径设置。在使用HuggingFace提供的预训练模型时，我们常常需要修改模型的储存位置。除了以上方法，我们还可以通过设置环境变量来更改模型的储存路径。，如果您不想修改模型的储存路径，可以省略此参数。在这个示例中，我们将模型储存在。

探秘Hugging Face与DeepSeek：AI开源世界的闪耀双子星

邓邓子的博客

02-11

1938

本文深入探讨 Hugging Face 和 DeepSeek 在 AI 开源领域的卓越贡献，剖析它们的技术优势、应用场景以及对未来 AI 发展的深远影响，带你领略 AI 开源世界的无限魅力。

1 条评论您还未登录，请先登录后发表或查看评论

修改huggingface的缓存路径

micah_yaokunkun的博客

10-24

1万+

最近查了一下C盘爆满的原因，发现了huggingface的缓存文件这个罪魁祸首。代码更改（仅对当前python会话，下一次在新的环境中执行时就失效了）时，都会启用huggingface的缓存机制，将整个大文件下载至。我们可以发现，默认的缓存目录就是设置在C盘。中，从而保证下一次加载时非常快速。修改系统环境变量（Windows）

修改HuggingFace模型默认缓存路径

leo0308的博客

03-18

612

huggingface模型的默认缓存路径是通常修改为自己的路径会更为方便。

修改huggingface 的cache缓存路径

liguiyuan的博客

04-08

2886

找到自己安装的huggingface_hub下的constants.py 文件，比如我的文件位置在 lib/python3.10/site-packages/huggingface_hub 下。使用hugging face 来跑代码时，往往会把模型缓存到系统目录下，比如我的ubuntu系统就缓存到~.cache目录下。把 default_home 修改为自己需要保存的文件路径即可。

修改huggingface的缓存目录以及镜像源

qq_37293230的博客

10-24

1159

【代码】修改huggingface的缓存目录以及镜像源。

怎么查看和删除 Hugging Face 下载的模型，并修改保存路径

Hoper-J的博客

09-27

6513

你一定会在未来的某个时刻有这个需求，因为实在是太占空间了，如果你热衷于试验不同的模型，或许一个星期之后你就会发现自己的磁盘开始报警。

Transformer模型探索：Hugging Face库实战篇二——模型与分词器解析

xziyuan的博客

06-17

1041

在上一篇文章《开箱即用的 pipelines》中，我们通过 Transformers 库提供的 pipeline 函数展示了 Transformers 库能够完成哪些 NLP 任务，以及这些 pipelines 背后的工作原理。本文将深入介绍 Transformers 库中的两个重要组件：模型（Models类）和分词器（Tokenizers类）。

关于Hugging Face模型加载与使用，看这一篇就够了

u014196765的博客

02-20

2501

Hugging Face 是一个流行的开源平台，提供大量的预训练模型（如BERT、GPT、T5等）和工具库（如Transformers、Datasets）。以下是下载和使用 Hugging Face 模型的详细步骤：首先安装库，它提供了加载和使用模型的接口：如果处理数据集，建议同时安装库：根据模型需求，可能还需安装 PyTorch 或 TensorFlow：二、快速使用模型（Pipeline） Hugging Face 提供了 API，可快速调用模型完成常见任务（如

hugging face怎么下模型到本地

热门推荐

DaVenci的博客

04-15

3万+

草履虫都能看懂的HuggingFace的Transformers库模型缓存路径修改教程。

AutoDL服务器huggingface模型下载到.cache了怎么办

Karl_Wayne的博客

12-22

2101

简而言之，local_dir里只有符号链接，真正的模型文件在.cache里。所以很容易想到把.cache里的文件移到数据盘，然后修改符号链接至新地址。

Unbuntu设置Hugging Face下载的本地缓存路径

weixin_50702814的博客

08-04

772

记录知识点

【经验分享】huggingface模型加载过程下载到cache文件目录具体是怎么组织的？以及都会有什么文件目录，每个文件目录是什么？huggingface离线使用数据集、metric、模型文件的操作

BetrayFree的博客

12-05

1万+

声明：经验之谈，如果不对，请用尿滋醒我！

修改modelscope和huggingface的默认cache目录

aiwowuzui的博客

06-12

1158

日常用到的模型下载主要是huggingface和modelscope，这两个默认的下载目录都在~/.cache中，修改默认cache路径方法如下。

怎么查看和删除 Hugging Face 下载的模型

01-29

### 查看和删除Hugging Face下载的模型 #### 查看已下载的模型为了查看通过Transformers库自动缓存到本地文件系统的预训练模型，可以访问默认存储路径。对于大多数用户，默认位置如下： - **Linux/macOS**: `~/.cache/huggingface/transformers`[^1] - **Windows**: `%APPDATA%\\huggingface\\transformers` 另一种方法是利用Python脚本动态获取当前配置下的缓存目录： ```python from transformers import cached_files print(cached_files()) ``` 这段代码会打印出所有已经被缓存资源的信息列表。 #### 删除不再需要的模型如果想要清理这些已经下载但是不再使用的模型文件，可以直接操作上述提到的实际物理路径来手动移除对应的文件夹；也可以编写简单的Python程序实现自动化处理过程： ```python import shutil from pathlib import Path from transformers.utils.hub import get_cache_dir # 获取缓存目录 cache_directory = Path(get_cache_dir()) for model_name in ['bert-base-uncased', 'distilbert-base-cased']: target_path = cache_directory / model_name try: if target_path.exists(): shutil.rmtree(target_path) print(f"Successfully deleted {model_name}") else: print(f"{target_path} does not exist.") except Exception as e: print(e) ``` 此段代码遍历指定名称的模型并尝试将其从磁盘上彻底清除。请注意，在执行任何涉及数据销毁的操作之前应当谨慎确认目标对象确实是可以被安全删除的内容。