hugging face 预训练模型缓存目录修改

搞图形学的渣渣

已于 2023-12-23 22:40:57 修改

阅读量1k

点赞数 9

分类专栏： Python 文章标签：缓存 python 深度学习

于 2023-12-23 21:16:44 首次发布

本文链接：https://blog.csdn.net/qq_37683597/article/details/135174546

版权

Python 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

本文指导如何在HuggingFace预训练模型占用大量系统tmp空间时，修改其缓存目录至自定义位置，提供代码示例和官方文档参考。

摘要由CSDN通过智能技术生成

修改hugging face cache目录

hugging face预训练模型都特别大，系统tmp空间很可能不够

这时候需要修改cache到自定义的还有空间的目录。

官网上这么解释的，我不再作过多解释：
在这里插入图片描述
把以下的代码在终端运行，或者加入bashrc中

# /my_dir/tmp是我设置的新的缓存目录，你需要修改成你自己的目录
export HF_HOME=/my_dir/tmp
export XDG_CACHE_HOME=/my_dir/tmp
export TRANSFORMERS_CACHE=/my_dir/tmp

参考文献

[1] huggingface官网

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

搞图形学的渣渣

关注关注

9
点赞
踩
10

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

【Hugging Face】如何从hub中下载文件

weixin_46481662的博客

10-07

8329

huggingface_hub库提供了从存储在Hub上的仓库中下载文件的功能。您可以独立使用这些函数或将它们集成到您自己的库中，使您的用户更方便地与Hub交互。

【transformer（03/10) 】Hugging Face 安装环境

gongdiwudu的专栏

02-03

2989

关于transformer库的安装环境的说明；因为transformer是一个不小的大型软件，安装的时候对环境还是需要一定规划，一般安装在虚拟环境中，以便与常规软件进行隔离。

1 条评论您还未登录，请先登录后发表或查看评论

修改modelscope和huggingface的默认cache目录

aiwowuzui的博客

06-12

391

日常用到的模型下载主要是huggingface和modelscope，这两个默认的下载目录都在~/.cache中，修改默认cache路径方法如下。

huggingface下载慢，和更改默认缓存路径

最新发布

qq_36797410的博客

08-05

244

huggingface更改源和缓存路径

修改huggingface 的cache缓存路径

liguiyuan的博客

04-08

1406

找到自己安装的huggingface_hub下的constants.py 文件，比如我的文件位置在 lib/python3.10/site-packages/huggingface_hub 下。使用hugging face 来跑代码时，往往会把模型缓存到系统目录下，比如我的ubuntu系统就缓存到~.cache目录下。把 default_home 修改为自己需要保存的文件路径即可。

修改huggingface的缓存路径

micah_yaokunkun的博客

10-24

6809

最近查了一下C盘爆满的原因，发现了huggingface的缓存文件这个罪魁祸首。代码更改（仅对当前python会话，下一次在新的环境中执行时就失效了）时，都会启用huggingface的缓存机制，将整个大文件下载至。我们可以发现，默认的缓存目录就是设置在C盘。中，从而保证下一次加载时非常快速。修改系统环境变量（Windows）

HuggingFace - linux环境修改下载默认缓存路径

Zhou_Dao的博客

07-11

277

本人两种方法均尝试。有效。

[算法前沿]--028-基于Hugging Face -Transformers的预训练模型微调

学-> 思->用

06-28

340

本章节将使用Hugging Face 生态系统中的库——🤗 Transformers来进行自然语言处理工作(NLP)。

Hugging Face 的 Transformers 库快速入门（二）模型与分词器

liu_chengwei的博客

10-20

4389

在上一篇文章《开箱即用的 pipelines》中，我们通过 Transformers 库提供的 pipeline 函数展示了 Transformers 库能够完成哪些 NLP 任务，以及这些 pipelines 背后的工作原理。本文将深入介绍 Transformers 库中的两个重要组件：模型（Models类）和分词器（Tokenizers类）。

《自然语言处理-基于预训练模型的方法》笔记

github_34349558的博客

08-13

5248

《自然语言处理-基于预训练模型的方法》笔记文章目录《自然语言处理-基于预训练模型的方法》笔记@[toc]〇.写在前面一、绪论(一) NLP 任务体系I.任务层级II.任务类别III.研究层次(二) 预训练的时代二、NLP 基础(一) 文本表示I.独热向量II.分布式表示III.词嵌入表示IV.词袋表示(二) NLP 任务I.语言模型II. 基础任务III. 应用任务(三) 基本问题I. 文本分类问题II. 结构预测问题III. 序列到序列问题(四) 评价指标I. 标准答案明确的情况II. 标准答案不明确的

修改huggingface模型的储存位置的设置方法

热门推荐

weixin_43178406的博客

01-20

7万+

本文主要介绍了修改huggingface模型的储存位置的设置方法，希望能对使用huggingface的同学们有所帮助。文章目录 1. 问题描述 2. 解决方案 2.1 解决方案一 2.2 解决方案二

AutoDL服务器huggingface模型下载到.cache了怎么办

Karl_Wayne的博客

12-22

1562

简而言之，local_dir里只有符号链接，真正的模型文件在.cache里。所以很容易想到把.cache里的文件移到数据盘，然后修改符号链接至新地址。

Unbuntu设置Hugging Face下载的本地缓存路径

weixin_50702814的博客

08-04

623

记录知识点

不会修改HuggingFace模型下载默认缓存路径？一篇教会你!

DaVenci的博客

04-15

1万+

草履虫都能看懂的HuggingFace的Transformers库模型缓存路径修改教程。

linux系统解决huggingface下载缓存不够的问题

qq_56550595的博客

04-01

656

这种更改cache缓存文件夹位置的方式不能从根本上解决存储问题，这种方式同样会在cache缓存里下载模型，然后同时又在数据盘指定目录下载模型（上述命令指定目录是个gpt2)，相当于下了两次模型，如果这个模型有50g的话，那么这个数据盘大小需要超过100g才行。如果不采用huggingface-cli download指令在终端下载模型时，就不会出现cache缓存问题，我们可以使用其他方法下载模型，如，先将模型文件下到本地，然后在上传到服务器指定文件夹，这样就不会在cache缓存中同时有该模型文件了。

【经验分享】huggingface模型加载过程下载到cache文件目录具体是怎么组织的？以及都会有什么文件目录，每个文件目录是什么？huggingface离线使用数据集、metric、模型文件的操作

BetrayFree的博客

12-05

7372

声明：经验之谈，如果不对，请用尿滋醒我！

huggingface HF_HOME 更换缓存目录

jieshenai的博客

11-16

7654

默认情况下，下载数据集并缓存到 ~/.cache/huggingface/dataset.您可以通过设置HF_HOME环境变量来自定义缓存的文件夹。若配置完环境，重启电脑。到此默认缓存目录切换成功。

【修改huggingface transformers默认缓存文件夹】

zp_stu的博客

08-19

2万+

huggingface transformers; 默认缓存目录

Hugging Face上如何下载预训练的BERT-wwm模型

05-12

首先，您需要安装Hugging Face的transformers库。可以通过以下命令在终端上安装： ``` pip install transformers ``` 然后，您可以通过以下方式下载预训练的BERT-wwm模型： ```python from transformers import BertForMaskedLM, BertTokenizer model_name = 'hfl/chinese-bert-wwm-ext' model = BertForMaskedLM.from_pretrained(model_name) tokenizer = BertTokenizer.from_pretrained(model_name) ``` 这将下载预训练的BERT-wwm模型和相应的tokenizer，并将其加载到您的Python环境中。请注意，下载模型文件可能需要一些时间，具体取决于您的网络速度。