【huggingface模型】huggingface模型的默认下载/加载位置

TiSV工作室

已于 2023-11-08 15:56:58 修改

阅读量2.8k

点赞数 1

文章标签：人工智能机器学习知识图谱 linux 经验分享

于 2023-06-15 14:23:59 首次发布

本文链接：https://blog.csdn.net/weixin_43891607/article/details/131226990

版权

在运行Python脚本加载模型时，HuggingFace会在当前路径下创建一个名为.cache的隐藏文件夹，例如在/root/.cache/huggingface/hub/中，存储了如THUDM的ChatGLM-6b模型的副本，以便加速后续的模型加载和使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在你运行加载模型的py文件的路径下，会有一个隐藏文件.cache, 如：

/root/.cache/huggingface/hub/models--THUDM--chatglm-6b/*

在这里插入图片描述

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

TiSV工作室

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

LLM - 使用 HuggingFace + Ollama 部署最新大模型 (GGUF 格式与 Llama 3.1)

AGI

08-08

4585

Ollama 是用于构建和运行大型语言模型(LLM)应用的开源工具，提供了一个简洁易用的命令行界面和服务器，让用户能够轻松下载、运行和管理各种开源 LLM，默认支持大量模型，如果是 HuggingFace 最新模型，或者自制模型，支持转换成 GGUF 格式，再进行调用。

ollama 运行第三方模型

热门推荐

05-06

6万+

本质上是通过GGUF 来创建ollama可执行的模型文件。

参与评论您还未登录，请先登录后发表或查看评论

关于Hugging Face模型加载与使用，看这一篇就够了

u014196765的博客

02-20

2786

Hugging Face 是一个流行的开源平台，提供大量的预训练模型（如BERT、GPT、T5等）和工具库（如Transformers、Datasets）。以下是下载和使用 Hugging Face 模型的详细步骤：首先安装库，它提供了加载和使用模型的接口：如果处理数据集，建议同时安装库：根据模型需求，可能还需安装 PyTorch 或 TensorFlow：二、快速使用模型（Pipeline） Hugging Face 提供了 API，可快速调用模型完成常见任务（如

不会修改HuggingFace模型下载默认缓存路径？一篇教会你!

DaVenci的博客

04-15

3万+

草履虫都能看懂的HuggingFace的Transformers库模型缓存路径修改教程。

将Hugging Face模型下载到本地并部署为本地服务的步骤指南

yuanpan的专栏

03-27

1429

下面我将分步骤讲解如何将Hugging Face模型下载到本地并进行部署，包括演示代码。

huggingface模型的默认下载/加载位置

计算机视觉

11-27

1240

huggingface模型的默认下载/加载位置。包、库、library的位置。

HuggingFace/ModelScope修改默认下载位置

qq_52028313的博客

07-27

2260

通过HuggingFace下载的模型/数据默认存储在位置下，通过ModelScope下载的模型/数据默认存储在位置下。我们可以通过添加环境变量修改默认存储位置。

复现别人模型时huggingface自动下载的模型和文件保存位置

Fitz的博客

11-29

5337

复现别人模型时huggingface自动下载的模型和文件保存位置有些时候我们复现别人的实验。直接对代码进行运行，会下载bert等模型文件，经过查找。发现他们的位置是在C:\Users\用户名\.cache\torch\transformers ...

本地下载huggingface模型并在服务器上使用流程

weixin_44151034的博客

06-24

7758

AutoModelForSequenceClassification 类是基于PyTorch的，因此需要安装PyTorch才能使用。我发现：大家加载huggingface模型，基本都是使用这两条代码来下载相关的文件的，所以我们只要找到这两条代码在哪里，就能找到文件的下载位置。但是我还是感觉很奇怪，就是它们是怎么知道需要把模型下载到哪里的，我能不能下次代码报错，自己发现需要把代码下载到哪里？之后我就通过代码连接不成功的报错，还有一些调试搜索方法，在这个头文件中找到这两行相关代码。参考了上面的帖子，找到了。

【Huggingface下载model】解决更改从Huggingface上下载语言模型或者数据的默认地址

z851245955的博客

10-25

1378

解决默认下载地址问题，将huggingface的语言模型自动下载到其它影片，避免下载到.cache文件夹里

模型仓库结构说明全解析：HuggingFace × ModelScope × 镜像加速 × 本地加载技巧

最新发布

努力分享一些人工智能相关的知识干货！

03-29

1076

🎯 本文目标：帮你全面掌握国产大模型的权重仓库结构与加载路径，避免下载失败、路径混乱、缓存异常等部署常见问题，做到“仓库用得明白，模型加载不踩坑”。

如何解决huggingface默认下载路径（windows）

weixin_74001851的博客

04-23

4854

注意，这里我使用了--cache-dir而非--local-dir，我也是再其它博客上看到的，个人不知道是否有影响，如有影响请请在评论区指正。通常为.conda\envs\“虚拟环境名”\Lib\site-packages\huggingface_hub。到此位置，博主已经可以将huggingface的模型下载到指定文件夹了。将画横线的部分替换成自己指定的下载路径。

huggingface 下载模型和数据集方法与位置（linux服务器）

frontiers的博客

05-20

1万+

如果可以访问官方教程，建议直接参考官方教程。本文是对官方教程和个人使用经历的片面总结。这里仅仅是把模型下载下来的过程，找到模型和数据集下载位置是为了便于使用本地模型的权重。huggingface的使用环境为python。

从Huggingface下载大模型到本地

m0_73222051的博客

08-12

9990

欢迎使用 huggingface 国内镜像站

HuggingFace下载模型默认保存在~/.cache/huggingface下面怎么修改这个路径？AutoModel.from_pretrained(‘bert-base-chinese‘, ca

CZXY18ji的博客

06-12

2159

AutoModel.from_pretrained(‘bert-base-chinese’, cache_dir=‘./’)

配置Huggingface的默认下载路径|配置HF_HOME环境变量

liushur的博客

11-16

898

但是在jypyter中使用huggingface的相关package的时候，仍旧会使用默认的路径，需要在代码中添加下面代码。在终端中配置hugging face的默认下载路径一般通过在.bashrc中加入下面的代码。使用.py和.ipykernel运行下面代码的时候，得到的结果是不同的。在.py中的许多环境变量在.ipykernel中是看不到的。虽然这样可以临时解决问题，但是却也不是长久之计。

huggingface加载预训练模型

Home to come

05-16

1537

在加载前需要统一模型文件名。比如bin文件都得叫pytorch_model.bin，配置文件都得叫config.json，词汇文件都得叫vocab.txt或json。这个是因为源码中的判断要求，所以别问，问就是改名。(https://blog.csdn.net/qq_33293040/article/details/109534923) RoBERTa中的merge.txt和vocab.json是什么 Bert采用的是字符级别的BPE编码，直接生成词表文件。Roberta采用的是**byte level的B

修改huggingface 的cache缓存路径

liguiyuan的博客

04-08

2968

找到自己安装的huggingface_hub下的constants.py 文件，比如我的文件位置在 lib/python3.10/site-packages/huggingface_hub 下。使用hugging face 来跑代码时，往往会把模型缓存到系统目录下，比如我的ubuntu系统就缓存到~.cache目录下。把 default_home 修改为自己需要保存的文件路径即可。

Hugging Face 的模型文件默认缓存目录

Leon_Jinhai_Sun的博客

03-22

917

可以使用百度的 PaddleNLP 替代 Hugging Face 的嵌入模型，并实现基于 Ollama 的 RAG 系统。

huggingface模型下载位置

01-24

### 修改 Hugging Face 模型下载路径为了防止大型模型占用过多 C 盘空间，默认情况下，Hugging Face 的模型会保存在 `C:\Users\<用户名>\.cache\huggingface\hub` 文件夹下。可以通过配置环境变量的方式改变这一默认行为。 #### 方法一：通过设置环境变量更改缓存目录可以在 Python 脚本中直接设定环境变量来调整模型的存储位置： ```python import os os.environ['HF_HOME'] = 'D:\\custom_path\\huggingface' # 将 D:\\custom_path 替换成期望的目标路径 ``` 此方式适用于临时性的项目需求，在脚本执行期间有效[^3]。 #### 方法二：永久性修改全局环境变量对于希望长期生效的情况，则建议编辑系统的环境变量列表，添加名为 `HF_HOME` 或者更具体的 `HF_HUB_CACHE` 来指向新的目标文件夹。这一步骤通常涉及操作系统级别的设置操作，具体步骤因不同版本的操作系统而异。当仅需针对特定模型实例自定义其加载路径时，还可以利用库函数中的参数选项实现： ```python from transformers import AutoModelForSequenceClassification, AutoTokenizer model_name_or_path = "distilbert-base-uncased-finetuned-sst-2-english" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, cache_dir="E:/models/distilbert/") model = AutoModelForSequenceClassification.from_pretrained(model_name_or_path, cache_dir="E:/models/distilbert/") ``` 上述代码片段展示了如何为单个模型指定了独立于其他资源之外的新缓存位置。