【如何高效下载AI模型：Hugging Face 镜像站与 ModelScope 社区指南】

如何高效下载AI模型：Hugging Face 镜像站与 ModelScope 社区指南

在AI开发领域，获取和使用预训练模型是一项常见任务。然而，由于网络限制或下载速度慢，国内开发者在访问某些国际平台时可能会遇到困难。本文将介绍如何使用Hugging Face的镜像站点和ModelScope社区来高效下载AI模型。

Hugging Face 镜像站 (HF-Mirror)

概述

HF-Mirror是一个公益项目，旨在为国内用户提供稳定、快速的镜像服务，以便无障碍访问Hugging Face的资源。它通过镜像huggingface.co域名来实现这一目标。

下载方法

方法一：网页下载

直接在HF-Mirror站点搜索所需模型，并在其主页的Files and Version部分下载文件。

方法二：使用 huggingface-cli

huggingface-cli 是Hugging Face官方提供的命令行工具，具备完善的下载功能。以下是使用步骤：

1. 安装依赖：

   pip install -U huggingface_hub
   

2. 设置环境变量：

   #   Linux
   export HF_ENDPOINT=https://hf-mirror.com
   
   #Windows Powershell
   $env:HF_ENDPOINT = "https://hf-mirror.com"
   

3. 下载模型或数据集：

   # 下载模型
   huggingface-cli download --resume-download [模型名称] --local-dir [本地目录]
   
   可以添加 --local-dir-use-symlinks False 参数禁用文件软链接，这样下载路径下所见即所得。
   huggingface-cli download --resume-download [模型名称] --local-dir [本地目录] --local-dir-use-symlinks False
   
   
   # 下载数据集
   huggingface-cli download --repo-type dataset --resume-download [数据名称] --local-dir [本地目录]
   
   

方法三：使用 hfd

hfd 是HF-Mirror开发的专用下载工具，基于git+aria2，确保稳定下载。使用步骤如下：

1. 下载 hfd 脚本：

   wget https://hf-mirror.com/hfd/hfd.sh && chmod a+x hfd.sh
   

2. 设置环境变量（同上）。

3. 下载模型或数据集：

   # 下载模型
   ./hfd.sh [模型名称] --tool aria2c -x 4
   
   # 下载数据集
   ./hfd.sh [数据集名称] --dataset --tool aria2c -x 4
   

方法四：使用环境变量（非侵入式）

通过设置HF_ENDPOINT环境变量，可以让huggingface工具链通过HF-Mirror下载文件。

HF_ENDPOINT=https://hf-mirror.com python your_script.py

不过有些数据集有内置的下载脚本，那就需要手动改一下脚本内的地址来实现了。

ModelScope 社区

概述

ModelScope社区提供了多种下载模型的方式，包括使用Library、Library Hub、Git等。

首先: pip install modelscope

使用Library下载模型

如果模型已集成至ModelScope的Library中，可以通过以下代码快速下载并加载模型：

from modelscope.models import Model
model = Model.from_pretrained('模型ID', revision='master')

使用Library Hub下载模型

通过modelscope modelhub，可以从repos下载文件或将它们集成到库中。

from modelscope.hub.snapshot_download import snapshot_download

model_dir = snapshot_download('模型ID', cache_dir='本地目录', revision='master')

例如:

model_dir = snapshot_download('qwen/Qwen1.5-1.8B-Chat', cache_dir='/root/autodl-tmp/model/', revision='master')

使用Git下载模型

对于公开模型，可以直接使用Git进行克隆：

git clone https://www.modelscope.cn/<namespace>/<model-name>.git

例如: git clone https://www.modelscope.cn/qwen/Qwen1.5-1.8B-Chat.git

如何获取git token

私有模型下载需要登录并使用个人访问令牌。

登录ModelScope官网，在个人中心获取git token。