【学习心得】魔塔（ModelScope）和抱抱脸（Hugging Face）下载模型小细节

        介绍常用的两种在模型社区如魔塔（ModelScope）和抱抱脸（Hugging Face），下载预训练模型的方法，然后说明各种方法里面的小细节。

一、SDK下载

        对于希望直接通过编程方式集成模型下载功能到自己的项目中的开发者来说，SDK下载是一个高效的选择。 

（1）魔塔社区

使用ModelScope的Python SDK可以方便地下载模型。首先要安装modelscope库：

pip install modelscope

SDK命令下载模型：

# 使用download命令，将Qwen3-0.6B下载到本地路径llm_models/Qwen3-0.6B文件夹里面
modelscope download --model Qwen/Qwen3-0.6B --local_dir ./llm_models/Qwen3-0.6B

SDK代码下载模型：

# 使用snapshot_download下载Qwen3-1.7B模型
from modelscope import snapshot_download

# cache_dir指定模型存放路径
model_dir = snapshot_download('Qwen/Qwen3-1.7B', cache_dir='./llm_models')

【注】魔塔的snapshot_download里面用cache_dir参数来指定模型下载路径 

 （2）HF社区

使用HuggingFace的Python SDK可以方便地下载模型。首先要安装huggingface_hub库： 

pip install huggingface_hub

huggingface_hub.snapshot_download 支持下载特定的 HuggingFace Hub 模型权重，并且允许多线程。在下载之前我们配置一下HuggingFace镜像站：https://hf-mirror.com/

export HF_ENDPOINT="https://hf-mirror.com/"

然后再利用SDK代码下载模型：

# snapshot_download是在huggingface_hub 库里面
from huggingface_hub import snapshot_download

# repo_id指定要下载的模型
# local_dir指定模型存放的本地路径
# max_workers表示最大并行下载数
snapshot_download(repo_id='Qwen/Qwen3-0.6B', local_dir='./llm_models/Qwen3-0.6B', max_workers=20)

 【注】HuggingFace的snapshot_download里面用local_dir参数来指定模型下载路径 

二、Git LFS下载

        HuggingFace 和 ModelScope 的远程模型仓库就是一个由 Git LFS 管理的 Git 仓库。因此，我们可以利用git clone 完成权重的下载：

（1）方式一（推荐）：先下载不带大文件的仓库，再单独下载大文件

# 首先你得确保有git lfs，如果没有你得先去下载
apt install git-lfs

# 使用git lfs来下载预训练模型
git clone <github模型路径>

# 进入保存模型的路径仓库里，激活git-lfs
cd 
git lfs install

# 使用git pull来下载预训练模型权重参数大文件
git pull

【注】如果你的模型小，git clone可以直接把权重一次性全部下载下来，如果你的模型权重文件很大是一个大文件，那么就要单独去Pull，完成后记得检查大文件完整性。

git lfs ls-files

先展示小一点参数的模型，一次性就下载完了：

再展示大参数的模型，需要单独git lfs pull来下载：

（2）方式二：一步到位，全部下载下来

# 首先你得确保有git lfs，如果没有你得先去下载
apt install git-lfs

# 进入你想保存模型的路径里面，激活git-lfs
cd llm_models
git lfs install

# 使用git lfs来下载预训练模型
# 比如 git clone https://www.modelscope.cn/Qwen/Qwen3-4B.git
git clone <github模型路径>