Windows修改huggingface模型下载地址

最新推荐文章于 2024-05-28 11:28:11 发布
最新推荐文章于 2024-05-28 11:28:11 发布
阅读量1.9k 收藏 22
点赞数 17
文章标签： nlp 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_72973634/article/details/135716874
版权

简介：由于Huggingface上下载模型的地址默认为C盘user文件夹中"\.cache\huggingface\hub"地址，但一些模型较大十分占用C盘的存储空间，以下方法可以修改模型下载位置。

1.从虚拟环境中找到下载huggingface的位置

通常为.conda\envs\“虚拟环境名”\Lib\site-packages\huggingface_hub

2.打开huggingface_hub文件夹，找到其中的constants.py文件

3.打开后找到HF_HOME变量，将图中框出的位置修改为想要存放模型的位置

4.再次从huggingface下载模型发现已下载到指定位置

官方文档可查看：Environment variables (huggingface.co)

若有错误敬请指出，谢谢！

敲代码的牙套
关注
  • 17
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
基于HuggingFace开发的大语言模型训练
10-24
标题中的“基于HuggingFace开发的大语言模型训练”是指利用HuggingFace的Transformers库来构建和训练大规模的语言模型。HuggingFace是一个流行的开源平台，提供了丰富的自然语言处理（NLP）模型，包括预训练的...
【hugggingface】批量加速下载HuggingFace上的模型
03-06
【hugggingface】批量加速下载HuggingFace上的模型
如何解决huggingface默认下载路径（windows）
weixin_74001851的博客
04-23 1135
注意，这里我使用了--cache-dir而非--local-dir，我也是再其它博客上看到的，个人不知道是否有影响，如有影响请请在评论区指正。通常为.conda\envs\“虚拟环境名”\Lib\site-packages\huggingface_hub。到此位置，博主已经可以将huggingface的模型下载到指定文件夹了。将画横线的部分替换成自己指定的下载路径。
不会修改HuggingFace模型下载默认缓存路径？一篇教会你!
DaVenci的博客
04-15 6064
草履虫都能看懂的HuggingFace的Transformers库模型缓存路径修改教程。
TIMM库--hugging face--models存储路径修改---TIMM本地读取huggingface模型
mantoureganmian的专栏
03-12 947
【代码】TIMM库--hugging face--models存储路径--修改。
hugging face 预训练模型缓存目录修改
qq_37683597的博客
12-23 921
设置hugging face cache目录
Hugging face win使用教程（二）
最新发布
liangjiubujiu的博客
05-28 278
{'generated_text': '电子科技大学是我国一所专职的综合性大学，是教育部直属的全国重点大学，也是国家“211工程”重点建设高校，是'}]4. 编写测试代码，注意可能由于网络链接问题，需要关闭代理并使用镜像网站解决。6. 设置hf环境下的python.exe为编译器并运行结果。1. 将环境迁移到win，可以直接下载修改好的cuda环境。2. 修改hugging face的缓存路径。3. 重启pycharm。
如何修改hugging face的模型默认下载地址
zh515858237的专栏
06-14 5890
主要原因是hugging face 的数据缓存比较大，jupyter执行的时候，需要加一个环境变量。
【Huggingface下载model】解决更改从Huggingface上下载语言模型或者数据的默认地址
z851245955的博客
10-25 1009
解决默认下载地址问题，将huggingface的语言模型自动下载到其它影片，避免下载到.cache文件夹里
【huggingface模型】huggingface模型的默认下载/加载位置
weixin_43891607的博客
06-15 2202
【代码】【huggingface模型】huggingface模型的默认下载/加载位置。
huggingface 下载模型和数据集方法与位置（linux服务器）
frontiers的博客
05-20 8317
如果可以访问官方教程，建议直接参考官方教程。本文是对官方教程和个人使用经历的片面总结。这里仅仅是把模型下载下来的过程，找到模型和数据集下载位置是为了便于使用本地模型的权重。huggingface的使用环境为python。
HuggingFace
m0_67266787的博客
03-14 1771
文章目录 一、官网 二、模型下载 一、官网 huggingface.co 二、模型下载 环境中安装 transformers包 conda install -n ycz transformers 模型自动下载 引号中是模型名称 from transformers import BertTokenizer, BertModel model = BertModel.from_pretrained('bert-base-chinese', output_hidden_states = True,) tok
Huggingface模型元数据.zip
02-26
标题中的“Huggingface模型元数据.zip”表明这个压缩包包含与Hugging Face平台相关的模型元数据。Hugging Face是一个著名的开源社区，专注于自然语言处理（NLP）模型的开发和分享，它提供了大量的预训练模型，供研究...
Llama2-7B/13B chat模型（下载地址）.txt
08-14
•Llama2-7B官网版本 •Llama2-7B-Chat官网版本 •Llama2-13B官网版本 •Llama2-13B-Chat官网版本 •Llama2-7B Huggingface版本 •Llama2-7B-Chat Huggingface版本
谷歌&HuggingFace_ 零样本能力最强的语言模型结构.pdf
08-12
谷歌&HuggingFace 零样本能力最强的语言模型结构 本文主要讲述了基于 transformer 的语言模型结构的设计和预训练目标的选择对模型的零样本泛化能力的影响，并对比了不同的模型结构和预训练目标的效果。 模型结构...
复现别人模型时huggingface自动下载的模型和文件保存位置
Fitz的博客
11-29 5089
复现别人模型时huggingface自动下载的模型和文件保存位置 有些时候我们复现别人的实验。直接对代码进行运行，会下载bert等模型文件，经过查找。发现他们的位置是在C:\Users\用户名\.cache\torch\transformers ...
实用篇 | huggingface的一些应用指导
weixin_44649780的博客
05-11 3965
本文主要介绍hugging Face(拥抱脸)的简单介绍以及常见用法，用来模型测试是个好的工具~如下图所示左边框是各项任务，包含多模态（Multimodal），计算机视觉(Computer Vision)，自然语言处理(NLP)等，右边是各任务模型。本文测试主要有。
huggingface模型下载地址更改
10-20
如果你想修改huggingface模型的下载地址，可以使用以下方法： 1. 全局变量设置：使用以下代码可以将所有模型的下载地址更改为指定路径： from transformers import AutoModel, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased", cache_dir="/home/transformers/huggingface/model") model = AutoModel.from_pretrained("bert-base-uncased", cache_dir="/home/transformers/huggingface/model") 2. 局部变量设置：如果你只想为某个模型设置对应的路径，可以使用以下代码： from transformers import AutoModel, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased", cache_dir="/home/transformers/huggingface/model") model = AutoModel.from_pretrained("bert-base-uncased", cache_dir="/home/transformers/huggingface/model") 3. 环境变量设置：你也可以通过设置环境变量来更改huggingface模型的下载地址。例如，使用以下代码可以将默认的缓存路径更改为指定路径： import os os.environ['TRANSFORMERS_CACHE'] = '/home/transformers/cache'

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值