1.获取huggingface的token
从这里 地址 获取
2. 安装依赖
pip install huggingface_hub
huggingface-hub自带了huggingface-cli
3. 下载数据集
开启镜像网站并加速:
export HF_ENDPOINT=https://hf-mirror.com # 镜像网站
export HF_HUB_ENABLE_HF_TRANSFER=1 # 开启加速
下载:
huggingface-cli download --repo-type dataset --token 你的token --resume-download 数据集名称 --cache-dir /本地路径 --local-dir-use-symlinks False
数据集名称都取自huggingface数据集的标题,如下:
如果下载的时候断了,再次执行命令就行,会接着之前的内容下载。
此方法比git稳定好用!