从huggingface上下载模型,大家都知道会很慢很慢,而且如果网络很差的话,会经常掉线。
最近发现了一个速度快的方法,---方法huggingface国内镜像站,方法如下。
1.huggingface-cli(不推荐)
huggingface-cli 隶属于 huggingface_hub
库,不仅可以下载模型、数据,还可以可以登录huggingface、上传模型、数据等。
配置huggingface国内镜像站
pip install -U huggingface_hub
pip install huggingface-cli
export HF_ENDPOINT=https://hf-mirror.com
然后执行命令下载你的模型:
如下我想要下载shenzhi-wang/Llama3-8B-Chinese-Chat
huggingface-cli download --resume-download shenzhi-wang/Llama3-8B-Chinese-Chat --local-dir /home/xintk/workspace/model/Llama3-8B-Chinese-Chat1
--resume-download:代表下载失败,下次下载从上次失败处继续
--local-dir:代表你要缓存的地方
2. hf_transfer(推荐)
hf_transfer 依附并兼容 huggingface-cli
,是 hugging face 官方专门为提高下载速度基于 Rust 开发的一个模块,开启后在带宽充足的机器上可以跑满带宽。
# 安装hf_transfer
pip install -U hf-transfer
# 设置环境变量
export HF_HUB_ENABLE_HF_TRANSFER=1
# 开启后使用方法同 huggingface-cli
huggingface-cli download --resume-download shenzhi-wang/Llama3-8B-Chinese-Chat --local-dir /home/xintk/workspace/model/Llama3-8B-Chinese-Chat1