huggingface使用国内镜像站下载

huggingface使用国内镜像站下载

huggingface开源的模型托管仓库，预训练模型的数量已超过30万个，并且任何模型在下载之前都可以使用huggingface提供的spaces空间去测试效果

huggingface的国内镜像站HF-Mirror的地址：https://hf-mirror.com/

HF-Mirror网站主页提供了几个下载方法，这里使用方法二-借助huggingface-cli，huggingface-cli 是 Hugging Face 官方提供的命令行工具，自带完善的下载功能。

1. 安装依赖

pip install -U huggingface_hub

2. 设置环境变量
Linux

export HF_ENDPOINT=https://hf-mirror.com

Windows Powershell

$env:HF_ENDPOINT = "https://hf-mirror.com"

建议将上面这一行写入 ~/.bashrc。

3.1 下载模型

3.1.1 搜索模型

以Qwen1.5-0.5B-chat为例，我们先进入到https://hf-mirror.com/models去搜索Qwen1.5-0.5B-chat，会跳转到下面的页面

然后复制模型的名称

3.1.2 使用命令行下载模型

huggingface-cli download --resume-download Qwen/Qwen1.5-0.5B-Chat --local-dir /root/Qwen

• –resume-download：接模型的名称
• –local-dir：接模型的存放路径

3.2 下载数据集

huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitext

可以添加 --local-dir-use-symlinks False 参数禁用文件软链接，这样下载路径下所见即所得，详细解释请见上面提到的教程。