从huggingface更快的下载模型

从huggingface上下载模型，大家都知道会很慢很慢，而且如果网络很差的话，会经常掉线。

最近发现了一个速度快的方法，---方法huggingface国内镜像站，方法如下。

 1.huggingface-cli（不推荐）

huggingface-cli 隶属于 huggingface_hub 库，不仅可以下载模型、数据，还可以可以登录huggingface、上传模型、数据等。

配置huggingface国内镜像站

pip install -U huggingface_hub
pip install huggingface-cli
export HF_ENDPOINT=https://hf-mirror.com

然后执行命令下载你的模型：

如下我想要下载shenzhi-wang/Llama3-8B-Chinese-Chat

huggingface-cli download --resume-download shenzhi-wang/Llama3-8B-Chinese-Chat --local-dir /home/xintk/workspace/model/Llama3-8B-Chinese-Chat1

--resume-download:代表下载失败，下次下载从上次失败处继续

--local-dir：代表你要缓存的地方

2. hf_transfer（推荐）

hf_transfer 依附并兼容 huggingface-cli，是 hugging face 官方专门为提高下载速度基于 Rust 开发的一个模块，开启后在带宽充足的机器上可以跑满带宽。

# 安装hf_transfer
pip install -U hf-transfer

# 设置环境变量
export HF_HUB_ENABLE_HF_TRANSFER=1

# 开启后使用方法同 huggingface-cli
huggingface-cli download --resume-download shenzhi-wang/Llama3-8B-Chinese-Chat --local-dir /home/xintk/workspace/model/Llama3-8B-Chinese-Chat1