一、加载dataset
数据集存储在各种位置,比如 Hub 、本地计算机的磁盘上、Github 存储库中以及内存中的数据结构(如 Python 词典和 Pandas DataFrames)中。无论您的数据集存储在何处,🤗 Datasets 都为您提供了一种加载和使用它进行训练的方法。
本节将向您展示如何从以下位置加载数据集:
- 没有数据集加载脚本的 Hub
- 本地文件
- 内存数据
- 离线
- 拆分的特定切片
解决常见错误,以及如何加载指标的特定配置。
1、Hugging Face Hub
上传数据集到Hub数据集存储库。
使用datasets.load_dataset()加载Hub上的数据集。参数是存储库命名空间和数据集名称(epository mespace and dataset name)
from datasets import load_dataset
dataset = load_dataset('lhoestq/demo1')
参考资料:
hugging face 官方文档——datasets、optimizer
一个通用的用于NLP数据处理的开源库