本地使用不了hugging-face的数据集，解决办法

最新推荐文章于 2024-11-02 16:28:26 发布
最新推荐文章于 2024-11-02 16:28:26 发布
阅读量200 收藏
点赞数 2
分类专栏： 一些杂七杂八的记录 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_57057282/article/details/140638646
版权

1.colab可以访问，直接处理

然后

# 保存每个数据集拆分为单独的 JSON 文件
for split in emotions_encoded:
    with open(f'emotions_encoded_{split}.json', 'w') as f:
        json.dump(emotions_encoded[split].to_dict(), f)

然后下载到本地

本地代码运行

fc&&fl
关注
专栏目录
Hugging Face快速入门（重点讲解模型(Transformers)和数据集部分(Datasets)）
iioSnail的博客
08-08 7万+
1. Hugging Face是什么，提供了哪些内容 2. Hugging Face模型的使用（Transformer类库） 3. Hugging Face数据集的使用（Datasets类库）
如何批量下载hugging face模型和数据集文件
热门推荐
iioSnail的博客
08-08 3万+
如何批量下载hugging face模型和数据集文件
huggingface 无法访问
weixin_42691967的博客
04-17 657
在环境变量中添加 HF_ENDPOINT = “https://hf-mirror.com”注意，huggingface v0.18之前用的是 HF_ENDPOINT，之后的版本用的是 HF_INFERENCE_ENDPOINT想要下载模型也可以去 https://hf-mirror.com下载。
从huggingface上下载数据集之后，在本地读取错误
jcjy_baiyang的博客
04-13 221
如图本地数据应该是下面这样的方式才从本地读取，而不是.arrow的形式（这种形式总是报错说找不到state.json文件。
Hugging Face数据集的简单使用
IT菜鸟
07-30 1553
Hugging Face数据集的简单使用
Hugging Face 使用镜像下载模型/数据集
lemonzjk的博客
08-09 1105
使用 huggingface-cli 快速下载大模型
从Hugging Face中下载数据集、模型到本地
小张学AI
02-18 4237
从Hugging Face中下载数据集、模型到本地
使用 HFD 加快 Hugging Face 模型和数据集的下载，解决443报错
Hoper-J的博客
09-18 1643
Hugging Face 默认的下载实在是太慢了，使用多线程的方式加速它！
Hugging Face 数据集查看器教程
gitblog_00670的博客
08-22 543
Hugging Face 数据集查看器教程 dataset-viewerLightweight web API for visualizing and exploring any dataset - computer vision, speech, text, and tabular - stored on the Hugging Face Hub项目地址:https://gitcode.com...
[LLM]Hugging Face 的 Autotrain-Advanced 探索
摩登都市天空---专栏
07-03 903
AutoTrain Advanced，这是一款无代码工具，专门设计用于让用户无需编写一行代码即可创建、微调和部署自己的 AI 模型。只需上传数据即可训练自定义机器学习模型。AutoTrain 将自动为你的数据找到最佳模型。它不仅可以帮助机器学习工程师，甚至可以帮助非开发人员轻松训练最先进的 ML 模型。只需要简单几步即可快速完成模型的微调、训练、推理和部署。AutoTrain 是一种自动训练和部署最先进的机器学习模型的方法，与 Hugging Face 生态系统无缝集成。
7.数据集处理库Hugging Face Datasets
YPeng_Gao的博客
06-12 346
只需一行代码便可以访问数十种不同领域（自然语言处理、计算机视觉、强化学习等）的评估方法。Evaluate 库 是一个用于轻松评估机器学习模型和数据集的 Python 库。构造 DatasetBuilder 类的主要配置 BuilderConfig。Datasets.load_dataset 实现原理简介。使用 datasets.map 方法全量应用预处理策略。实际构造数据集的类 DatasetBuilder。Datasets 帮助构建不同用途的数据集。使用 Datasets 下载开源数据集。
hugging face 使用教程———快速入门
TigerZ*的博客
07-24 1947
本篇存在的意义是快速介绍hugging face使用，梳理主要部件，梳理易混淆概念。原因是：目前hugging face的使用，官方放在了3个地方（参考链接部分）：使用文档、NLP教程、Transformers git的readme 文件，很多重叠内容比较浪费时间，很容易看懵。等大家有了主要概念再去看需要具体看某个函数或功能。
Day21包和模块
weixin_50199478的博客
10-30 602
一个.py文件就是一个模块。模块是含有一系列数据、函数、类等的程序。包是将模块以文件夹的组织形式进行分组管理的方法，以便更好地组织和管理相关模块。包是一个包含一个特殊的__init__.py文件的目录。
01_IAR新建CC2530工程
nanxl1的博客
11-02 884
由于很多Zigbee商家提供的教程未有从零建立CC2530工程的讲解，可能会导致后面的开发中出现一些琐碎的问题。本文将以**LED流水灯**为例，从0到1用**IAR**建立CC2530工程。
cleanfid库的fid使用，及其使用CLIP模型clip_vit_b_32计算FID
最新发布
百年孤独百年的博客
11-02 702
这篇博客详细介绍了如何使用 cleanfid 库计算 Fréchet Inception Distance (FID)，特别是利用 CLIP 模型 clip_vit_b_32 计算 FID 分数来评估生成图像的质量。内容涵盖了 FID 的概念和原理、cleanfid 库的安装与配置、从缓存中加载与手动加载模型的方法，以及解决可能遇到的依赖问题。通过这篇教程，可以掌握使用 cleanfid 库计算fid的完整流程，并能够解决服务器环境中遇到的联网与模型下载问题。
Backtrader 数据篇 02
进击的小学生
10-30 997
重新自定义数据读取函数，自定义的方式就是继承数据加载类 GenericCSVData、PandasData 再构建一个新的类，然后在新的类里统一设置参数。如果传递负值（例如：-1），则表示 CSV 数据中不存在该字段自定义的函数，不会修改 Backtrader 底层的数据表格内 lines 的排列规则。
变量与数据类型：从整数到字符串
redrose2100的博客
10-30 71
变量是用于存储数据的命名空间。在Python中，定义变量非常简单，你只需要将一个值赋给变量名即可。# 定义变量x = 10变量名只能包含字母、数字和下划线（_）。变量名不能以数字开头。变量名不能为Python的关键字（如ifelsewhile等）。# 合法的变量名age = 25# 非法的变量名# 1st_num = 10 # 不能以数字开头# if = "condition" # 不能使用Python关键字。
196.245.124.255.236.194.0.0.0.0.0.0.0.0.9 用python截取最后一个点后面的数据
qq_44534541的博客
10-30 138
这个方法从字符串的右边开始分割，并且可以指定分割的最大次数。在Python中，如果你想要截取字符串中最后一个点（，因为它是最后一个点后面的数据。这段代码会处理没有点的情况（）和点的后面不是数字的情况（）后面的数据，你可以使用。
植物病害图像分割系统：智能化检测
prchen818的博客
10-30 962
数据集信息展示在现代农业生产中，植物病害的早期识别与处理至关重要。为了提升植物病害的自动检测与分割能力，本研究选用了名为“new_plant_diseases”的数据集，旨在训练和改进YOLOv8-seg模型，以实现高效、准确的植物病害图像分割。
掌握SQuAD数据集——NLP问答任务的关键
4. 使用`datasets`库：Hugging Face的`datasets`库提供了一个简洁的API用于加载和处理SQuAD数据集。 5. 加载数据集的方法：通过`load_dataset`函数，并可以指定本地缓存目录。 6. 数据集对NLP的影响：SQuAD数据集...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值