【LLM】huggingface快速下载LLM

问题描述

huggingface下载LLM模型有时候登录受限或者下载太慢，想找一个命令行执行且支持多线程的下载方式

解决方案

首先安装依赖

pip install -U huggingface_hub

编写脚本

import huggingface_hub
import os

# 设置环境变量export HF_ENDPOINT=https://hf-mirror.com
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
TOKEN="【需要登陆huggingface官网后在https://huggingface.co/settings/tokens获取token】"
huggingface_hub.login(TOKEN)

from huggingface_hub import snapshot_download

print("start downloading")
snapshot_download(
  repo_id="【模型名，比如：google/llm】",
  local_dir="【指定到本地下载目录，比如：/home/models/】",
  max_workers=8 #最大线程
)

运行脚本即可看到下载进度条，并且速度很快