之前都是从那里手动点击——这次任务量大——>参考了hugging-face_cli的下载方法
(1)先通过df -h命令,查看各个位置的磁盘空间大小
(2)然后,参考这个文章:国内快速下载huggingface(镜像)上的模型和数据 - 知乎 (zhihu.com)
依次输入以下命令:
pip install -U huggingface_hub
export HF_ENDPOINT=https://hf-mirror.com
这里以这个数据集elsaEU/ELSA_D3 · Datasets at HF Mirror (hf-mirror.com)为例子,同时,下载的本地地址为 ./data/
速度很快,接近40多MB/s
huggingface-cli download --repo-type dataset --resume-download elsaEU/ELSA_D3 --local-dir /data/elsaEU/ELSA_D3
(3)还有其他下载方法,自己搜文章即可,或者我列出一些参考:
这一篇估计就是最好的文章了
估计这些文章够用了-相信大家都会遇到huggingface的问题,你以后也一定躲不开,不妨多学习一些
国内快速下载huggingface(镜像)上的模型和数据 - 知乎 (zhihu.com)