huggingface更改数据集、模型缓存目录

最新推荐文章于 2024-08-05 15:53:49 发布
最新推荐文章于 2024-08-05 15:53:49 发布
阅读量113 收藏 1
点赞数
文章标签： 缓存
原文链接：https://blog.csdn.net/sjxgghg/article/details/127888588
版权

默认情况下，下载的数据集缓存到 ~/.cache/huggingface/dataset.，而下载的模型缓存到~/.cache/huggingface/hub.目录下。

您可以通过设置HF_HOME环境变量来自定义缓存的文件夹。
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

若配置完环境，发现并没有生效，基本解决思路: 重新打开命名窗口、应用。
若还不生效：那就 重启电脑！

from datasets import load_dataset

raw_datasets = load_dataset(“glue”, “mrpc”)
raw_datasets

  • 1
  • 2
  • 3
  • 4

在这里插入图片描述
到此默认缓存目录切换成功

The One 2002
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【Huggingface下载model】解决更改从Huggingface上下载语言模型或者数据的默认地址
z851245955的博客
10-25 1094
解决默认下载地址问题，将huggingface的语言模型自动下载到其它影片，避免下载到.cache文件夹里
维基百科数据集，可用于预训练模型
01-19
维基百科数据集，可用于预训练模型 原始地址：https://huggingface.co/datasets/pleisto/wikipedia-cn-20230720-filtered/viewer/default/train?p=1
huggingface在本地缓存的glue（路径参考：~\.cache\huggingface\datasets\glue）
10-09
在运行TAADPapers的openattack或textattack中可能会用到的文件 ①背景：huggingface连不上 ②解决：主要采取下载到本地的方式运行代码（openattack可以直接改demo里的路径，很方便），有的代码可能不会修改模型和数据集的访问路径（textattack貌似封装的很好，在下找不到文件加载路径~） ③代码请求huggingface之前，会先在缓存文件里寻找，这个压缩文件是我本地缓存的glue，0积分下载，仅供参考~
更换指定Huggingface/Modelscope默认下载位置
m0_52942489的博客
03-20 3761
*Step1：**打开配置文件。
HuggingFace - linux环境 修改下载默认缓存路径
Zhou_Dao的博客
07-11 175
本人两种方法均尝试。有效。
修改huggingface 的cache缓存路径
liguiyuan的博客
04-08 1190
找到自己安装的huggingface_hub下的constants.py 文件，比如我的文件位置在 lib/python3.10/site-packages/huggingface_hub 下。使用hugging face 来跑代码时，往往会把模型缓存到系统目录下，比如我的ubuntu系统就缓存到~.cache目录下。把 default_home 修改为自己需要保存的文件路径即可。
修改huggingface的缓存路径
micah_yaokunkun的博客
10-24 6472
最近查了一下C盘爆满的原因，发现了huggingface的缓存文件这个罪魁祸首。代码更改（仅对当前python会话，下一次在新的环境中执行时就失效了）时，都会启用huggingface的缓存机制，将整个大文件下载至。我们可以发现，默认的缓存目录就是设置在C盘。中，从而保证下一次加载时非常快速。修改系统环境变量（Windows）
不会修改HuggingFace模型下载默认缓存路径？一篇教会你!
DaVenci的博客
04-15 9689
草履虫都能看懂的HuggingFace的Transformers库模型缓存路径修改教程。
【经验分享】huggingface模型加载过程下载到cache文件目录具体是怎么组织的？以及都会有什么文件目录，每个文件目录是什么？huggingface离线使用数据集、metric、模型文件的操作
BetrayFree的博客
12-05 6925
声明：经验之谈，如果不对，请用尿滋醒我！
如何修改hugging face的模型默认下载地址
zh515858237的专栏
06-14 6819
主要原因是hugging face 的数据缓存比较大，jupyter执行的时候，需要加一个环境变量。
Huggingface模型元数据.zip
02-26
标题中的“Huggingface模型元数据.zip”表明这个压缩包包含与Hugging Face平台相关的模型元数据。Hugging Face是一个著名的开源社区，专注于自然语言处理（NLP）模型的开发和分享，它提供了大量的预训练模型，供研究...
基于HuggingFace开发的大语言模型训练
10-24
标题中的“基于HuggingFace开发的大语言模型训练”是指利用HuggingFace的Transformers库来构建和训练大规模的语言模型。HuggingFace是一个流行的开源平台，提供了丰富的自然语言处理（NLP）模型，包括预训练的...
数据集下载渠道00000
10-29
数据集下载渠道00000 是一个汇集了多种数据下载方式的资源，涵盖了 huggingface、魔塔社区、阿里巴巴 datahub、openslr.org 等多个数据下载渠道。通过本资源，用户可以快速下载需要的数据集，并进行后续的数据处理和...
huggingface下载慢，和更改默认缓存路径
最新发布
qq_36797410的博客
08-05 222
huggingface更改源和缓存路径
【问题解决】关于pip缓存，HUggingface缓存，HUggingface无法正常下载的问题解决
专注于人工智能的算法与应用
05-11 1222
第一个问题我在安装的pip install torch的时候，出现了C盘磁盘空间不够的问题但是我的环境明明在E盘啊，给我整不会了！！！后来发现是因为缓存的问题感觉理解缓存相关机制可以更好debug~先来回答缓存在哪里。
huggingface 下载模型和数据集方法与位置（linux服务器）
frontiers的博客
05-20 8749
如果可以访问官方教程，建议直接参考官方教程。本文是对官方教程和个人使用经历的片面总结。这里仅仅是把模型下载下来的过程，找到模型和数据集下载位置是为了便于使用本地模型的权重。huggingface的使用环境为python。
HuggingFace/ModelScope修改默认下载位置
qq_52028313的博客
07-27 277
通过HuggingFace下载的模型/数据默认存储在位置下，通过ModelScope下载的模型/数据默认存储在位置下。我们可以通过添加环境变量修改默认存储位置。
如何解决huggingface默认下载路径（windows）
weixin_74001851的博客
04-23 1762
注意，这里我使用了--cache-dir而非--local-dir，我也是再其它博客上看到的，个人不知道是否有影响，如有影响请请在评论区指正。通常为.conda\envs\“虚拟环境名”\Lib\site-packages\huggingface_hub。到此位置，博主已经可以将huggingface的模型下载到指定文件夹了。将画横线的部分替换成自己指定的下载路径。
huggingface加载数据集
10-09
HuggingFace提供了一个名为`datasets`的库，用于加载和处理各种数据集。你可以使用`datasets`库中的函数来下载、加载和预处理数据集。以下是一个简单的示例，展示如何使用HuggingFace的`datasets`库加载数据集： ```python from datasets import load_dataset # 加载数据集 dataset = load_dataset('dataset_name') # 查看数据集信息 print(dataset) # 访问数据集中的样本 print(dataset['train'][0]) ``` 在这个示例中，你需要将`dataset_name`替换为你想要加载的实际数据集的名称。你可以在[HuggingFace Datasets](https://huggingface.co/datasets)网站上查找可用的数据集名称。 通过以上步骤，你就可以成功加载和访问数据集。你可以根据自己的需要进一步处理和使用这些数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值