huggingface下载模型&数据集实践

安装相关工具包

pip install -U "huggingface_hub[cli]"
pip install hf_transfer

设置环境变量

更改为国内源 & 启用hf-transfer

export HF_ENDPOINT=https://hf-mirror.com
export HF_HUB_ENABLE_HF_TRANSFER=1

执行下载

模型：

huggingface-cli download --resume-download facebook/opt-6.7b  --local-dir opt-6.7b  --local-dir-use-symlinks False  --exclude *.h5 *.msgpack 

数据集：

 huggingface-cli download --resume-download --repo-type dataset rajpurkar/squad_v2 --local-dir data/squad_v2  --local-dir-use-symlinks False

说明

--local-dir-use-symlinks参数设置为False时，可以直接将模型文件原封不动的下载到local-dir文件夹内而不是保存到catch文件夹，
否则，可能会将模型文件下载到catch文件夹，同时在维护一份软链接用于定位文件

-- eclude 用于排除不需要的文件，比如很多模型仓库中既有PyTorch版本也由TensorFlow和JAX版本，不过我们只需要pytorch，就可以用此参数排除剩下的两个