快速方便地下载huggingface的模型库和数据集
方法一:用于使用 aria2/wget+git 下载 Huggingface 模型和数据集的 CLI 工具
来自https://gist.github.com/padeoe/697678ab8e528b85a2a7bddafea1fa4f。
使用方法:将hfd.sh拷贝过去,然后参考下面的参考命令,下载数据集或者模型
🤗Huggingface 模型下载器
考虑到官方 huggingface-cli
缺乏多线程下载支持,以及错误处理不足在 hf_transfer
中,这个命令行工具巧妙地利用 wget
或 aria2
来处理 LFS 文件,并使用 git clone<