huggingface 数据集和模型加速下载, hfdata 输出为json

如果有碰到huggingface的数据集下载慢，可以使用国内镜像代理下载，首先打开命令行，输入下面的环境变量：

登录后复制

export HF_ENDPOINT=https://hf-mirror.com

• 1.

然后执行你自己的代码，比如：

登录后复制

from datasets import load_dataset
ds = load_dataset("openai/gsm8k", "main")
for split, split_dataset in ds.items():
    split_dataset.to_json(f"gsm8k-{split}.jsonl")

• 1.
• 2.
• 3.
• 4.

你会发现数据集的下载速度变快了：

登录后复制

Downloading readme: 7.94kB [00:00, 7.75MB/s]
Downloading data: 100%|██████████████████████████████████████████████████████████████| 2.31M/2.31M [00:06<00:00, 364kB/s]
Downloading data: 100%|████████████████████████████████████████████████████████████████| 419k/419k [00:00<00:00, 783kB/s]
Generating train split: 100%|██████████████████████████████████████████████| 7473/7473 [00:00<00:00, 86953.96 examples/s]
Generating test split: 100%|███████████████████████████████████████████████| 1319/1319 [00:00<00:00, 58370.39 examples/s]

• 1.
• 2.
• 3.
• 4.
• 5.

参考文献

 How do I save a Huggingface dataset?

原创作者: u_9453611 转载于: https://blog.51cto.com/u_9453611/11472101