通过huggingface-cli下载数据集

1.获取huggingface的token

从这里 地址 获取

2. 安装依赖

 pip install huggingface_hub

huggingface-hub自带了huggingface-cli

3. 下载数据集

开启镜像网站并加速：

export HF_ENDPOINT=https://hf-mirror.com  # 镜像网站
export HF_HUB_ENABLE_HF_TRANSFER=1  # 开启加速

下载：

huggingface-cli download --repo-type dataset --token 你的token --resume-download 数据集名称 --cache-dir /本地路径 --local-dir-use-symlinks False

数据集名称都取自huggingface数据集的标题，如下：
如果下载的时候断了，再次执行命令就行，会接着之前的内容下载。

此方法比git稳定好用！