大模型LLM常见下载方式

节省时间：AI 模型下载方案汇总

在日常工作中，下载AI模型是一个常见需求。本文旨在分享一些高效下载模型的方法和工具，以帮助研究人员和从业者节省时间。

写在前面

模型文件通常体积较大，因此快速且稳定的下载方式至关重要。特别是在需要将模型下载到本地或国内服务器进行微调时，下载速度和稳定性成为关键因素。

使用Docker优化下载环境

为了确保下载环境的干净和高效，推荐使用Docker。以下是一个示例流程：

1. 拉取轻量级的Python环境：

   docker pull python:3.10-slim
   

2. 将本地目录挂载到容器中，作为模型下载目录：

   docker run --rm -it -v `pwd`:/models python:3.10-slim bash
   

3. 更新软件源，以优化下载速度：

   sed -i 's/snapshot.debian.org/mirrors.tuna.tsinghua.edu.cn/g' /etc/apt/sources.list.d/debian.sources
   pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
   

4. 进入工作目录并开始下载。

HuggingFace社区和工具

HuggingFace是AI领域内知名的开源模型社区，提供了丰富的模型资源。以下是使用HuggingFace CLI工具下载模型的步骤：

1. 安装HuggingFace CLI工具：

   pip install huggingface_hub[cli]
   

2. 使用CLI工具下载模型，例如下载PHI-2模型：

   huggingface-cli download microsoft/phi-2 --local-dir=./models/ --cache-dir=./cache --local-dir-use-symlinks=False --resume-download
   

HF Transfer工具

HuggingFace还推出了基于Rust的下载工具HF Transfer，以提高下载速度。安装并使用该工具的命令如下：

pip install huggingface_hub[cli] hf_transfer
HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download microsoft/phi-2 model-00001-of-00002.safetensors --local-dir=./models/ --cache-dir=./cache --local-dir-use-symlinks=False

HF Mirror镜像站

由于访问HuggingFace可能存在不稳定情况，社区爱好者提供了HF Mirror镜像站，通过设置环境变量可以加速下载：

HF_ENDPOINT=https://hf-mirror.com 上文的命令...

ModelScope社区

ModelScope是国内的AI模型社区，提供了类似HuggingFace的服务。使用ModelScope下载模型的步骤如下：

1. 安装ModelScope工具：

   pip install modelscope
   

2. 使用Python脚本或命令行下载模型：

   from modelscope import snapshot_download
   snapshot_download('AI-ModelScope/phi-2', cache_dir="./models/")
   

使用Colab和网盘进行模型转存

利用Google Colab的带宽优势，可以快速下载模型，并通过网盘工具上传到个人网盘，如阿里云盘或百度网盘。

国内非盈利组织机构的模型下载

国内研究院和实验室也会发布模型，通常可以通过官方网站直接下载，这种方式下载速度快，且模型文件可靠。

结语

希望上述方法能帮助你高效下载AI模型，无论是早晨、中午还是晚上，都能享受快速的下载体验。