huggingface 数据集和模型加速下载, hfdata 输出为json

农民小飞侠

已于 2024-07-12 14:49:16 修改

阅读量304

点赞数 2

文章标签： huggingface

于 2024-07-12 14:45:24 首次发布

本文链接：https://blog.csdn.net/w5688414/article/details/140379043

版权

如果有碰到huggingface的数据集下载慢，可以使用国内镜像代理下载，首先打开命令行，输入下面的环境变量：

export HF_ENDPOINT=https://hf-mirror.com

然后执行你自己的代码，比如：

from datasets import load_dataset
ds = load_dataset("openai/gsm8k", "main")
for split, split_dataset in ds.items():
    split_dataset.to_json(f"gsm8k-{split}.jsonl")

你会发现数据集的下载速度变快了：

Downloading readme: 7.94kB [00:00, 7.75MB/s]
Downloading data: 100%|██████████████████████████████████████████████████████████████| 2.31M/2.31M [00:06<00:00, 364kB/s]
Downloading data: 100%|████████████████████████████████████████████████████████████████| 419k/419k [00:00<00:00, 783kB/s]
Generating train split: 100%|██████████████████████████████████████████████| 7473/7473 [00:00<00:00, 86953.96 examples/s]
Generating test split: 100%|███████████████████████████████████████████████| 1319/1319 [00:00<00:00, 58370.39 examples/s]