使用hfd工具快速下载huggingface模型权重-应该是目前最快的

前言

之前的文章讲过，因为某些原因下载huggingface模型权重太慢。之前提到过三种方法，这里介绍第四种，是目前本人发现最快的，而且还能断点续传。
之前的文章链接：其他三种方法

方法四

镜像站：https://hf-mirror.com/
链接：hf镜像站
具体步骤：

pip install -U huggingface_hub

下载hfd:

wget https://hf-mirror.com/hfd/hfd.sh

输入：

chmod a+x hfd.sh

环境变量：
linux:

export HF_ENDPOINT=https://hf-mirror.com

windows:(powershell)

$env:HF_ENDPOINT = "https://hf-mirror.com"

下载模型：（模型名称怎么获取参见之前的文章）

./hfd.sh 模型名称 --tool aria2c -x 16

（-x参数应该是线程，1-16均可，亲测16速度很快，能到10M以上/s）
（aria2c需要自己安装，怎么安装在之前的文章可以找到。）
aria2c工具怎么装点这里看
如果是需要token的模型（例如llama），得到许可证后，把token放在命令里面：(以llama为例)

./hfd.sh meta-llama/Llama-2-7b --hf_username YOUR_HF_USERNAME --hf_token hf_***  --tool aria2c -x 16

token代表什么，参加之前的文章或者镜像站介绍。