Linux 快速部署DeepSeek-R1 蒸馏系列模型

已于 2025-02-08 14:59:59 修改
阅读量3k 收藏 16
点赞数 24
分类专栏： 模型部署 DeepSeek 文章标签： swift 人工智能 linux nlp 语言模型
于 2025-02-08 14:35:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MnivL/article/details/145515262
版权

本文记录使用 ms-Swift 框架 对 DeepSeekR1 蒸馏系列模型（7B、14B）在 A100（40GB）* 1 服务器上部署过程与测试结果。

框架：ms-swift

部署方法可选：vLLM、LMDeploy

加速方式：flash_attn

支持openai接口格式：是

模型：DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Qwen-14B

环境准备

本文基础环境如下：

----------------
x86_64
ubuntu 22.04 or centos 7
gpu: A100(40GB) * 1
python 3.10
cuda 12.2
----------------

本文默认已配置好以上 cuda、anaconda​ 环境，如未配置请先自行安装。

依赖安装

创建虚拟环境

  • 新建虚拟环境

    • ​-n DeepSeekR1​：指定要创建的虚拟环境的名称为 DeepSeekR1​。
    • ​python=3.10​：指定虚拟环境中 Python 的版本为 3.10。
    • ​-y​：在创建环境过程中自动确认所有提示，无需手动输入 yes​。
    • ​-c​：用于指定 conda​ 源。这里指定了清华大学的主源和自由源。
    • ​--override-channels​ 临时禁用默认源，仅使用你指定的源
conda create -n DeepSeekR1 python=3.10 -y --override-channels -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free

  • 激活环境

    创建完成后，你可以使用以下命令来激活并验证虚拟环境：

    # 激活虚拟环境
conda activate DeepSeekR1

# 查看 Python 版本
python --version

    如果输出的 Python 版本为 3.10，则说明虚拟环境创建成功。

模块安装

  • 首先 pip​ 换源加速下载并安装依赖包

    pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
pip install --upgrade pip

  • 安装所需模块

    直接复制，快速安装

    也可以分开一个一个安

    pip install modelscope==1.22.3
pip install openai==1.61.0
pip install tqdm==4.67.1
pip install "vllm>=0.5.1" -U
pip install "lmdeploy>=0.5,<0.6.5" -U --no-deps
pip install autoawq -U --no-deps
pip install auto_gptq optimum bitsandbytes -U
pip install ms-swift[all]
pip install timm -U
pip install deepspeed==0.14.* -U
pip install qwen_vl_utils decord librosa pyav icecream -U

  • 检查安装是否成功

    python -c "import torch; print(torch.cuda.is_available())"

    输出True 这说明 GPU版本的pytorch​安装成功

模型下载

使用 modelscope 中的 snapshot_download 函数下载模型，第一个参数为模型名称，参数 local_dir为模型的下载路径。

新建 model_download.py​ 文件并在其中输入以下内容，粘贴代码后记得保存文件。

from modelscope import snapshot_download

snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-7B', local_dir='deepseek-ai/DeepSeek-R1-Distill-Qwen-7B', revision='master')
snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-14B', local_dir='deepseek-ai/DeepSeek-R1-Distill-Qwen-14B', revision='master')

然后在终端中输入 python model_download.py​ 执行下载，这里需要耐心等待一段时间直到模型下载完成。

注意：记得修改 local_dir​ 为你的模型下载路径

部署测试

  • 运行部署命令
CUDA_VISIBLE_DEVICES=1 swift deploy \
	--model /home/mnivl/apps/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B \
	--max_model_len 8192 \
    --host 0.0.0.0 \
    --port 10040 \
	--attn_impl flash_attn \
	--infer_backend vllm

  • 基础参数

    • ​--host​: 默认为'0.0.0.0'​.

    • ​--port​: 默认为8000​.

    • ​--api_key​: 默认为None​, 即不对请求进行api_key验证.

    • ​--ssl_keyfile​: 默认为None​.

    • ​--ssl_certfile​: 默认为None​.

    • ​--verbose​: 是否对请求内容进行打印, 默认为True​.

    • ​--log_interval​: 对统计信息进行打印的间隔, 单位为秒. 默认为10​. 如果设置为0​, 表示不打印统计信息.

    • --attn_impl: [flash_attn,sdpa,eager,None] 注意力机制的实现方式

      • ​flash_attn​ 利用 Flash Attention 的高效特性，提升模型的推理速度，同时减少内存占用

    • 更多参数：swift 命令行参数

  • --infer_backend {vllm,pt,lmdeploy} 推理框架选用

    1. vllm

      参考文档: OpenAI-Compatible Server — vLLM

      • ​--gpu_memory_utilization​: 初始化vllm引擎EngineArgs​的参数, 默认为0.9​. 该参数只有在使用vllm时才生效. VLLM推理加速和部署可以查看VLLM推理加速与部署.

      • ​--tensor_parallel_size​: 初始化vllm引擎EngineArgs​的参数, 默认为1​. 该参数只有在使用vllm时才生效.

      • ​--max_num_seqs​: 初始化vllm引擎EngineArgs​的参数, 默认为256​. 该参数只有在使用vllm时才生效.

      • ​--max_model_len​: 覆盖模型的max_model_len, 默认为None​. 该参数只有在使用vllm时才生效.

      • ​--disable_custom_all_reduce​: 是否禁用自定义的all-reduce kernel, 而回退到NCCL. 默认为True​, 这与vLLM的默认值不同.

      • ​--enforce_eager​: vllm使用pytorch eager模式还是建立cuda graph. 默认为False​. 设置为True可以节约显存, 但会影响效率.

      • ​--limit_mm_per_prompt​: 控制vllm使用多图, 默认为None​. 例如传入--limit_mm_per_prompt '{"image": 10, "video": 5}'​.

      • ​--vllm_enable_lora​: 默认为False​. 是否开启vllm对lora的支持. 具体可以查看VLLM & LoRA.

      • ​--vllm_max_lora_rank​: 默认为16​. vllm对于lora支持的参数

      • ​--cache-max-entry-count​ 控制kv缓存占用剩余显存的最大比例。默认的比例为0.8

        最终 显存占用 = 模型权重占用 + kv缓存占用

        kv缓存占用 = (总显存 - 模型权重占用) * cache-max-entry-count

    2. lmdeploy

      参考文档: inference pipeline — lmdeploy

      • ​--tp​: tensor并行, 用于初始化lmdeploy引擎的参数, 默认值为1​.

      • ​--cache-max-entry-count​ 控制kv缓存占用剩余显存的最大比例。默认的比例为0.8

        最终 显存占用 = 模型权重占用 + kv缓存占用

        kv缓存占用 = (总显存 - 模型权重占用) * cache-max-entry-count

      • ​--quant_policy​: Key-Value Cache量化, 初始化lmdeploy引擎的参数, 默认值为0​, 你可以设置为4, 8.

      • ​--vision_batch_size​: 初始化lmdeploy引擎的参数, 默认值为1​. 该参数只有在使用多模态模型时生效.

  • 通过 curl​ 命令查看当前的模型列表
curl http://localhost:10040/v1/models

得到的返回值如下所示

{
    "data": [
        {
            "id": "DeepSeek-R1-Distill-Qwen-14B",
            "object": "model",
            "created": 1738832400,
            "owned_by": "swift"
        }
    ],
    "object": "list"
}
  • curl 对话测试
curl http://localhost:10040/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "model": "DeepSeek-R1-Distill-Qwen-14B",
    "messages": [
        {"role": "user", "content": "地心说为什么是真的"}
    ],
    "stream": true
}'

  • 显存占用

    实际占用 = 权重占用 +kv cache占用

    ​

并发测试

设备模型上下文并发循环次数速率（tokens/s）显存(GB)请求超时个数
A100（40GB） * 1DeepSeek-R1-Distill-Qwen-7B2048162945.236.9a0
A100（40GB） * 1DeepSeek-R1-Distill-Qwen-7B4096162744.637.20
A100（40GB） * 1DeepSeek-R1-Distill-Qwen-7B8192162885.037.20
A100（40GB） * 1DeepSeek-R1-Distill-Qwen-7B81923231490.238.11
A100（40GB） * 1DeepSeek-R1-Distill-Qwen-7B81921147.938.10

设备模型上下文并发循环次数速率（tokens/s）显存(GB)请求超时个数flash_attn 加速
A100（40GB） * 1DeepSeek-R1-Distill-Qwen-14B2048162586.837.60​False​
A100（40GB） * 1DeepSeek-R1-Distill-Qwen-14B4096162370.538.017​False​
A100（40GB） * 1DeepSeek-R1-Distill-Qwen-14B8192162285.338.124​False​
A100（40GB） * 1DeepSeek-R1-Distill-Qwen-14B81921138.338.10​False​
A100（40GB） * 1DeepSeek-R1-Distill-Qwen-14B4096162454.938.615​True​
A100（40GB） * 1DeepSeek-R1-Distill-Qwen-14B8192162242.538.623​True​
A100（40GB） * 1DeepSeek-R1-Distill-Qwen-14B81921148.437.90​True​

请求 timeout=60s

​

过程可能出现的报错

模块安装错误

pip._vendor.urllib3.exceptions.ReadTimeoutError

packages/pip/vendor/urllib3/response.py", line 443, in _error_catcher raise ReadTimeoutError(self.pool, None, "Read timed out.")

pip._vendor.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool(host='mirrors.aliyun.com',

  • pip install 包下载时, 会自动下载相关依赖，过程可能会很久，导致超时。

解决：直接重新执行pip install xxx 下载命令即可，pip cache 缓存会保留已经下好的依赖包

pip install deepspeed==0.14.* -U
Looking in indexes: https://mirrors.aliyun.com/pypi/simple/
Collecting deepspeed==0.14.*
  Using cached https://mirrors.aliyun.com/pypi/packages/85/b1/4f2e80eb76058122ba4a405feff1bf07af084ab5cf282aeecd19b0a3c46a/deepspeed-0.14.5.tar.gz (1.4 MB)
  Preparing metadata (setup.py) ... error
  error: subprocess-exited-with-error
  
  × python setup.py egg_info did not run successfully.
  │ exit code: 1
  ╰─> [23 lines of output]
      [2025-02-07 15:05:20,937] [INFO] [real_accelerator.py:203:get_accelerator] Setting ds_accelerator to cuda (auto detect)
      [2025-02-07 15:05:21,630] [INFO] [real_accelerator.py:203:get_accelerator] Setting ds_accelerator to cuda (auto detect)
      Traceback (most recent call last):
        File "<string>", line 2, in <module>
        File "<pip-setuptools-caller>", line 34, in <module>
        File "/tmp/pip-install-vmn2un79/deepspeed_dcca99b6cf834ce0aeba0165144d68f8/setup.py", line 39, in <module>
          from op_builder import get_default_compute_capabilities, OpBuilder
        File "/tmp/pip-install-vmn2un79/deepspeed_dcca99b6cf834ce0aeba0165144d68f8/op_builder/__init__.py", line 18, in <module>
          import deepspeed.ops.op_builder  # noqa: F401 # type: ignore
        File "/tmp/pip-install-vmn2un79/deepspeed_dcca99b6cf834ce0aeba0165144d68f8/deepspeed/__init__.py", line 25, in <module>
          from . import ops
        File "/tmp/pip-install-vmn2un79/deepspeed_dcca99b6cf834ce0aeba0165144d68f8/deepspeed/ops/__init__.py", line 15, in <module>
          from ..git_version_info import compatible_ops as __compatible_ops__
        File "/tmp/pip-install-vmn2un79/deepspeed_dcca99b6cf834ce0aeba0165144d68f8/deepspeed/git_version_info.py", line 29, in <module>
          op_compatible = builder.is_compatible()
        File "/tmp/pip-install-vmn2un79/deepspeed_dcca99b6cf834ce0aeba0165144d68f8/op_builder/fp_quantizer.py", line 35, in is_compatible
          sys_cuda_major, _ = installed_cuda_version()
        File "/tmp/pip-install-vmn2un79/deepspeed_dcca99b6cf834ce0aeba0165144d68f8/op_builder/builder.py", line 51, in installed_cuda_version
          raise MissingCUDAException("CUDA_HOME does not exist, unable to compile CUDA op(s)")
      op_builder.builder.MissingCUDAException: CUDA_HOME does not exist, unable to compile CUDA op(s)
       [WARNING]  async_io requires the dev libaio .so object and headers but these were not found.
       [WARNING]  async_io: please install the libaio-devel package with yum
       [WARNING]  If libaio is already installed (perhaps from source), try setting the CFLAGS and LDFLAGS environment variables to where it can be found.
      [end of output]
  
  note: This error originates from a subprocess, and is likely not a problem with pip.
error: metadata-generation-failed

× Encountered error while generating package metadata.
╰─> See above for output.

note: This is an issue with the package mentioned above, not pip.
hint: See above for details.
  • 和cuda环境有关系，但是问题不太大

  • 这里是编译安装失败，所以可以直接去下载编译好的 .whl 文件来安装

  • 在这里找到对应版本的 deepspeed​ .whl ​ 模块包安装即可

    也可下载我下好的版本：
    deepspeed-0.14.3-py3-none-any.whl

  • 将whl​文件上传到服务器后，执行

    pip install deepspeed-0.14.3-py3-none-any.whl

程序运行报错

ValueError: Bfloat16 is only supported on GPUs with compute capability of at least 8.0

ValueError: Bfloat16 is only supported on GPUs with compute capability of at least 8.0. Your Tesla V100-PCIE-32GB GPU has compute capability 7.0. You can use float16 instead by explicitly setting thedtype​ flag in CLI, for example: --dtype=half.

  • 数据类型不兼容：bfloat16​（Brain Floating Point 16）是一种 16 位的浮点数数据类型，它在一些新的 GPU 架构上（计算能力至少为 8.0）被支持，用于加速深度学习训练和推理。而 Tesla V100 GPU 计算能力为 7.0，不支持 bfloat16​。

解决办法

  • 使用 float16​ 替代 bfloat16​

错误信息中已经给出了提示，可以使用 float16​ 替代 bfloat16​。具体做法是在命令行中显式设置 dtype​ 标志。

from vllm import LLM
....
# 初始化 vLLM 推理引擎
llm = LLM(model=model, ..., dtype="float16")

python -m vllm.entrypoints.openai.api_server \
  --model /home/mnivl/apps/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B \
  .... \
  --dtype float16
ImportError: libGL.so.1

ImportError: libGL.so.1: cannot open shared object file: No such file or directory

不知道为什么swift在推理语言模型时，使用vllm方式推理时，会调用openGL图像库

所以，如果不想麻烦，可以直接在推理和部署的指令中去除vllm选项即可

去除 --infer_backend vllm

改为 --infer_backend lmdeploy

模型指标

DeepSeek-R1 训练技术论文链接： DeepSeek-R1/DeepSeek_R1.pdf at main · deepseek-ai/DeepSeek-R1 · GitHub

  • 使用 DeepSeek-R1 生成的推理数据，微调了研究界广泛使用的几个密集模型。评估结果表明，蒸馏的较小密集模型在基准上表现非常出色。开源了基于 Qwen2.5 和 Llama3 系列的 1.5B、14B、8B、14B、32B 和 70B 。
  • 魔搭社区

​

​

DeepSeek-R1 Models

Model#Total Params#Activated ParamsContext LengthDownload
DeepSeek-R1-Zero671B314B128K🤗 HuggingFace
DeepSeek-R1671B314B128K🤗 HuggingFace

DeepSeek-R1-Distill Models

ModelBase ModelDownload
DeepSeek-R1-Distill-Qwen-1.5BQwen2.5-Math-1.5B🤗 HuggingFace
DeepSeek-R1-Distill-Qwen-14BQwen2.5-Math-7B🤗 HuggingFace
DeepSeek-R1-Distill-Llama-8BLlama-3.1-8B🤗 HuggingFace
DeepSeek-R1-Distill-Qwen-14BQwen2.5-14B🤗 HuggingFace
DeepSeek-R1-Distill-Qwen-32BQwen2.5-32B🤗 HuggingFace
DeepSeek-R1-Distill-Llama-70BLlama-3.3-70B-Instruct🤗 HuggingFace

ms-swift 特性

🍲 ms-swift是魔搭社区提供的大模型与多模态大模型微调部署框架，现已支持450+大模型与150+多模态大模型的训练（预训练、微调、人类对齐）、推理、评测、量化与部署。其中大模型包括：Qwen2.5、InternLM3、GLM4、Llama3.3、Mistral、DeepSeek-R1、Yi1.5、TeleChat2、Baichuan2、Gemma2等模型，多模态大模型包括：Qwen2.5-VL、Qwen2-Audio、Llama3.2-Vision、Llava、InternVL2.5、MiniCPM-V-2.6、GLM4v、Xcomposer2.5、Yi-VL、DeepSeek-VL2、Phi3.5-Vision、GOT-OCR2等模型。

🍔 除此之外，ms-swift汇集了最新的训练技术，包括LoRA、QLoRA、Llama-Pro、LongLoRA、GaLore、Q-GaLore、LoRA+、LISA、DoRA、FourierFt、ReFT、UnSloth、和Liger等。ms-swift支持使用vLLM和LMDeploy对推理、评测和部署模块进行加速，并支持使用GPTQ、AWQ、BNB等技术对大模型和多模态大模型进行量化。为了帮助研究者和开发者更轻松地微调和应用大模型，ms-swift还提供了基于Gradio的Web-UI界面及丰富的最佳实践。

为什么选择ms-swift？

  • 🍎 模型类型：支持450+纯文本大模型、150+多模态大模型，All-to-All全模态模型的训练到部署全流程。
  • 数据集类型：内置150+预训练、微调、人类对齐、多模态等各种类型的数据集，并支持自定义数据集。
  • 硬件支持：CPU、RTX系列、T4/V100、A10/A100/H100、Ascend NPU等。
  • 🍊 轻量训练：支持了LoRA、QLoRA、DoRA、LoRA+、ReFT、RS-LoRA、LLaMAPro、Adapter、GaLore、Q-Galore、LISA、UnSloth、Liger-Kernel等轻量微调方式。
  • 分布式训练：支持分布式数据并行（DDP）、device_map简易模型并行、DeepSpeed ZeRO2 ZeRO3、FSDP等分布式训练技术。
  • 量化训练：支持对BNB、AWQ、GPTQ、AQLM、HQQ、EETQ量化模型进行训练。
  • RLHF训练：支持纯文本大模型和多模态大模型的DPO、CPO、SimPO、ORPO、KTO、RM、PPO等人类对齐训练方法。
  • 🍓 多模态训练：支持对图像、视频和语音不同模态模型进行训练，支持VQA、Caption、OCR、Grounding任务的训练。
  • 界面训练：以界面的方式提供训练、推理、评测、量化的能力，完成大模型的全链路。
  • 插件化与拓展：支持自定义模型和数据集拓展，支持对loss、metric、trainer、loss-scale、callback、optimizer等组件进行自定义。
  • 🍉 工具箱能力：不仅提供大模型和多模态大模型的训练支持，还涵盖其推理、评测、量化和部署全流程。
  • 推理加速：支持PyTorch、vLLM、LmDeploy推理加速引擎，并提供OpenAI接口，为推理、部署和评测模块提供加速。
  • 模型评测：以EvalScope作为评测后端，支持100+评测数据集对纯文本和多模态模型进行评测。
  • 模型量化：支持AWQ、GPTQ和BNB的量化导出，导出的模型支持使用vLLM/LmDeploy推理加速，并支持继续训练。

新功能

  1. 数据集模块重构。数据集加载速度提升2-20倍，encode速度提升2-4倍，支持streaming模式

    • 移除了dataset_name机制，采用dataset_id、dataset_dir、dataset_path方式指定数据集
    • 使用--dataset_num_proc​支持多进程加速处理
    • 使用--streaming​支持流式加载hub端和本地数据集
    • 支持--packing​命令以获得更稳定的训练效率
    • 指定--dataset <dataset_dir>​支持本地加载开源数据集

  2. 对模型进行了重构：

    • 移除了model_type机制，使用--model <model_id>/<model_path>​来训练和推理
    • 若是新模型，直接使用--model <model_id>/<model_path> --template xxx --model_type xxx​，无需书写python脚本进行模型注册

本文档列举3.x版本和2.x版本的BreakChange。开发者在使用时应当注意这些不同。

参数差异

  • model_type的含义发生了变化。3.0版本只需要指定--model，model_type仅当模型为SWIFT不支持模型时才需要额外指定
  • sft_type更名为train_type
  • model_id_or_path更名为model
  • template_type更名为template
  • quantization_bit更名为quant_bits
  • check_model_is_latest更名为check_model
  • batch_size更名为per_device_train_batch_size，沿用了transformers的命名规则
  • eval_batch_size更名为per_device_eval_batch_size，沿用了transformers的命名规则
  • tuner_backend移除了swift选项
  • use_flash_attn更名为attn_impl
  • bnb_4bit_comp_dtype更名为bnb_4bit_compute_dtype
  • 移除了train_dataset_sample和val_dataset_sample
  • dtype更名为torch_dtype，同时选项名称从bf16变更为标准的bfloat16，fp16变更为float16，fp32变更为float32
  • 移除了eval_human选项
  • dataset选项移除了HF::使用方式，使用新增的--use_hf控制下载和上传
  • 移除了do_sample选项，使用temperature进行控制
  • add_output_dir_suffix更名为add_version
  • 移除了eval_token，使用api_key支持
  • target_modules(lora_target_modules)的ALL改为了all-linear，含义相同
  • deepspeed的配置更改为default-zero2​->zero2​, default-zero3​->zero3​
  • infer/deploy/export移除了--ckpt_dir参数，使用--model, --adapters进行控制

支持的模型

模型类型模型标识
DeepSeek 系列​deepseek​, deepseek_coder​, deepseek_vl​, deepseek_janus​, deepseek_v2_5​, deepseek_r1​, deepseek_vl2​, deepseek_janus_pro​
Emu3 系列​emu3_gen​, emu3_chat​
Gemma 系列​gemma​, paligemma​
ChatGLM 系列​chatglm2​
GLM 系列​glm4v​, glm4​, glm_edge_v​
CodeGeeX 系列​codegeex4​
LongWriter 系列​longwriter_llama​
CogAgent 系列​cogagent_chat​, cogagent_vqa​
CogVLM 系列​cogvlm​, cogvlm2​, cogvlm2_video​
Llama 系列​llama​, llama3​, llama3_2​, llama3_2_vision​, llama3_1_omni​
Qwen 系列​qwen​, qwen2_5​, qwen2_5_math​, qwen2_5_math_prm​, qwen_vl​, qwen_audio​, qwen2_audio​, qwen2_vl​, qwen2_5_vl​
Qvq 系列​qvq​
Ovis 系列​ovis1_6​, ovis1_6_llama3​
Marco 系列​marco_o1​
Got OCR 系列​got_ocr2​
Idefics 系列​idefics3​
InternLM 系列​internlm​, internlm2​, internlm2_reward​
XComposer 系列​ixcomposer2​, xcomposer2_5​, xcomposer2_4khd​
Florence 系列​florence​
Phi 系列​phi3​, phi4​, phi3_vision​
InternVL 系列​internvl​, internvl_phi3​, internvl2​, internvl2_phi3​, internvl2_5​
Llava 系列​llava1_5_hf​, llava_next_video_hf​, llava1_6_mistral_hf​, llava1_6_vicuna_hf​, llava1_6_yi_hf​, llama3_llava_next_hf​, llava_next_qwen_hf​, llava_onevision_hf​, llava_llama3_1_hf​, llava_llama3_hf​, llava1_6_mistral​, llava1_6_yi​, llama3_llava_next​, llava_next_qwen​
Default 系列​default​
ModelScope Agent 系列​modelscope_agent​
Baichuan 系列​baichuan​
Numina 系列​numina​
Mistral 系列​mistral_nemo​
Xverse 系列​xverse​
Yuan 系列​yuan​
Ziya 系列​ziya​
Skywork 系列​skywork​, skywork_o1​
Bluelm 系列​bluelm​
CodeFuse 系列​codefuse_codellama​, codefuse​
Zephyr 系列​zephyr​
Sus 系列​sus​
Orion 系列​orion​
Telechat 系列​telechat​, telechat2​
Dbrx 系列​dbrx​
Mengzi 系列​mengzi​
C4AI 系列​c4ai​
WizardLM 系列​wizardlm2​, wizardlm2_moe​
Atom 系列​atom​
Aya 系列​aya​
Megrez 系列​megrez​, megrez_omni​
Minicpm 系列​minicpm​, minicpmv​, minicpmv2_5​, minicpmv2_6​, minicpmo2_6​
Minimax 系列​minimax​, minimax_vl​
Molmo 系列​molmo​
Mplug Owl 系列​mplug_owl2​, mplug_owl3​, mplug_owl3_241101​
Doc Owl 系列​doc_owl2​
OpenBuddy 系列​openbuddy​, openbuddy2​
Pixtral 系列​pixtral​
Valley 系列​valley​
Yi 系列​yi_coder​, yi_vl​

引用借鉴

deepseek r1 量化版本 Vllm 部署运行
AI天才研究院
02-04 6034
如需进一步了解其他工具（如 Ollama 或 LMStudio）的部署方法，可参考相关文档：。
人人都能上手部署DeepSeek-R1蒸馏模型：应用昇思+香橙派 AI Pro实践全流程
prtinf48_9的博客
02-11 2852
本文聚焦于高性能生成式AI模型DeepSeek在香橙派AI Pro开发板上的部署与优化，特别强调NPU加速的应用实践。文章首先介绍了DeepSeek模型的特点及其蒸馏技术的优势，随后详细阐述了香橙派AI Pro 20T开发板的硬件特性，包括高性能AI处理器和丰富的接口功能。核心内容围绕如何通过NPU加速实现DeepSeek模型的高效部署展开，详细介绍了烧录镜像、环境配置、模型运行及优化的完整流程。通过本文，读者可以快速掌握在香橙派AI Pro开发板上部署DeepSeek模型的方法，充分发挥NPU的加速能力。
手把手教大家如何在Centos7系统中安装Deepseek，一文搞定
soso678的博客
02-18 4374
在linux系统centos7上部署deepseek
【算法工程】vllm突然报错No platform detected, vLLM is running on UnspecifiedPlatform
源泉的小广场
03-18 1332
大模型启动、大模型vllm部署、vllm检测不到设备、启动报错、部署报错
Unsloth本地微调DeepSeek-R1-Distill-Qwen-14B流程概述
最新发布
qaswzh的专栏
03-23 1259
Unsloth本地微调DeepSeek-R1-Distill-Qwen-14B流程概述
2025 最新 DeepSeek-R1-Distill-Qwen-14B vLLM 部署全攻略：从环境搭建到性能测试(V100-32GB * 2)
MnivL的博客
02-06 1万+
本文详细介绍了在 2025 年进行 DeepSeek-R1-Distill-Qwen-14B 模型基于 vLLM 的部署过程。从环境准备开始，包括硬件与软件环境要求，如特定的操作系统、GPU 型号、Python 版本、CUDA 及 PyTorch 版本等，指导读者完成基础环境搭建。接着深入依赖安装环节，细致讲解了使用 conda 创建虚拟环境、pip 换源加速下载依赖包以及安装 CUDA 和 PyTorch 的要点，并提供检查安装是否成功的方法。
V100 上用 ms-swift 框架部署 DeepSeek-R1-Distill-Qwen-14B 超全攻略
MnivL的博客
02-07 2217
本文详细介绍如何运用 ms-swift 框架在 V100 设备上部署 DeepSeek-R1-Distill-Qwen-14B 模型。开篇明确所需环境，如 x86_64 架构、ubuntu 22.04 或 centos 7 系统、V100 GPU 等。接着依次阐述依赖安装、模型下载步骤，还展示推理测试、部署测试及并发测试过程。
一文读懂！DeepSeek-R1 大模型本地部署超详细攻略
Gaga246的博客
02-06 2258
在快速发展的人工智能领域，2025 年 1 月，`DeepSeek` 正式推出了备受瞩目的 `DeepSeek-R1` 推理大模型。这款模型凭借其低廉的成本和卓越的性能，一经发布便迅速在 AI 行业掀起波澜，吸引了众多研究者、开发者以及企业的广泛关注。 `DeepSeek-R1` 之所以能够在竞争激烈的 AI 市场中脱颖而出，其性价比优势功不可没。相较于其他同类型的大模型，它在保证出色性能的同时，大大降低了使用成本，这使得更多的个人开发者、科研团队以及预算有限的企业能够轻松应用，为推动 AI 技术的普及和
DeepSeek-R1 蒸馏模型及如何用 Ollama 在本地运行DeepSeek-R1
llm_way的博客
01-26 1万+
在人工智能飞速发展的领域中，大型语言模型（LLMs）的出现可谓是一项重大变革。在这些模型里，DeepSeek - R1 及其蒸馏模型备受瞩目，它们融合了独特的能力与高可用性。今天我们一起聊一下 DeepSeek - R1 蒸馏模型究竟是什么，它们的工作原理、应用场景，并提供一份使用 Ollama 在本地运行 DeepSeek R1 的详细步骤指南。DeepSeek - R1 蒸馏模型（模型蒸馏（Model Distillation）：AI模型小型化与高效化之道）是强大的 DeepSeek - R1 人工智能
ollama-windows本地部署deepseek-r1-1.5b模型
qq1164014750
02-21 877
ollama 是一个强大的工具，用于本地部署大语言模型。其官方地址为：https://ollama.com/ 和 https://github.com/ollama/ollama。ollama 使用 gguf 格式的大模型文件，这种格式具有诸多优势，比如存储效率高、加载速度快等。同时，ollama 使用 Modelfile 来配置大模型的一些关键属性，例如使用哪个具体的模型、系统提示词以及上下文参数大小等。
实操指南：OrangePi AI Studio运行Deepseek-R1蒸馏模型
weixin_68994217的博客
02-11 1147
OrangePi AI Studio采用昇腾AI技术路线，融合“ARM core，AI core，Vector core，Image core”于一体，提供“基础通用算力+超强AI算力+编解码核心”，充分满足推训一体AI任务需求，拥有48GB /96GB LPDDR4X，速率高达4266Mbps。今天，我们就给大家分享如何利用手中的设备运行Deepseek。13)依次执行下面的命令，下载DeepSeek-R1-Distill-Qwen-14B模型权重，将其放到/models目录下。
基于RTX3090/RTX4090 GPU本地部署Deepseek-R1模型（含qwen-7B与llama-8B蒸馏）
02-20
内容概要：本文详细介绍了如何使用配备了RTX3090或RTX4090 GPU的本地环境搭建和部署名为Deepseek-R1的模型，特别是两个不同类型的蒸馏版本——来自阿里巴巴云的qwen-7B与Meta的llama-8B。文中包含了完整的准备工作...
在游戏本(6G显存)上本地部署Deepseek，运行一个14B大语言模型，并使用API访问
冀辉的博客
02-05 8192
deepseek在大语言模型上的进步确实不错，相比最初的百川在CPU上运行14B模型输出一次对话要20分钟，deepseek使用1.5B时，完全可以在CPU上快速输出内容，性能提升非常显著，完全满足个人在笔记本上开发大模型应用的基本要求。虽然deepseek每次对话都要思考一下，使用了较多时间，但在实际输出内容时，还是比较快速的，在游戏本上至少可以每秒输出5个token以上。下面内容是我在自己的游戏本上测试结果，没有进行任何优化，供大家参考。
DeepSeek-R1本地部署完全指南：从树莓派到A100集群的终极性能攻略
qqzeng-ip
02-10 3158
DeepSeek-R1的本地部署如同打造"AI动力引擎"，选择合适的参数规模与硬件配置，将直接决定智能系统的性能天花板。建议开发者采用"阶梯式演进"策略，先建立最小可行系统，再根据业务增长动态扩展算力资源。
什么是DeepSeek-R1蒸馏模型？
热门推荐
asd8705的专栏
01-22 2万+
所以昨晚，DeepSeek在DeepSeek-V3之后发布了另一个革命性的模型，即DeepSeek-R1和我的孩子，这看起来是一个重大的发布，因为这个模型在几个基准测试中已经超越了OpenAI-o1，即SOTA推理模型。例如，在推理基准测试中，DeepSeek-R1-Distill-Qwen-32B的表现优于DeepSeek-R2-Zero-Qwen-34B，这表明对于较小的模型来说，蒸馏是一种更经济、更有效的方法。蒸馏的目标是使DeepSeek-R1等大型模型的推理能力能够被更小、更高效的模型所利用。
【全网首个】KTransformer部署高性能DeepSeek R1模型实战
fufan_LLM的博客
02-20 5866
DeepSeek R1满血版模型是一个671B的超大尺寸模型，正常部署需要至少1200G显存左右，哪怕是半精度运行，也需要490G以上的显存，需要8卡A100服务器才能带动。现在，借助KTransformers，我们可以将部分模型权重加载到内存上，并且分配部分计算工作由CPU完成，从而大幅降低GPU的负载！但是由于KTransformers需要深度挖掘硬件计算性能，因此部署和调用会需涉及到非常多硬件底层的库，项目部署和使用门槛很高。很多bug全网都没有解决方案！
使用Ollama 在Ubuntu运行deepseek大模型：以deepseek-r1为例
skywalk8163的专栏
01-27 3773
deepseek大模型上热搜啦！咱们来亲身感受下DeepSeek模型的魅力吧！整个操作流程非常简单方便，只需要2步，先安装Ollama，然后执行大模型即可。
社区版Dify + Ollama + DeepSeek-R1（14b）实现私有化LLM推理
weixin_44119512的博客
01-24 4950
大模型本身就具备推理能力，为什么还需要推理模型，深度思考？简单地说 ，就是推理能力相对较低，只能处理相对简单的问题，而不会深入思考更加复杂的问题，所以 OpenAI 发布了o1 ，可以做各种考试的题目。但是 o1 并不开源 ，价格看起来遥不可及。值此，一个国内不怎么出名的公司，Deepseek ，发布了V3，用一种低成本实现的高水准的LLM。（557万美元训练出671B的模型）开源免费可商用噢，随后不久就发布了一个初代的推理模型：DeepSeek-R1 和DeepSeek-R1-Zero。
LLM - 基于LM Studio本地部署DeepSeek-R1的蒸馏量化模型
crasowas的博客
02-03 4642
本文章基于macOS以及LM Studio本地部署，全程无需代理，力求让你快速学会部署自己的大语言模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

歌刎

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值