使用 SGLang本地部署Deepseek R1

已于 2025-01-27 04:02:05 修改
阅读量7.5k 收藏 32
点赞数 9
文章标签： 深度学习 自然语言处理 语言模型
于 2025-01-27 03:59:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_74165632/article/details/145374077
版权

一、简介

最近Deepseek R1也是非常的火，正好最近无事可干，那么就本地跑一下这个玩一下吧

官方Github有各种推理平台的部署教程，有具体需求的可以看一下，本篇只是一篇个人的免踩坑快速部署过程

相信能够看到这篇博客的对他的性能已经有了一定的了解了，那么我也不多介绍了（其实是因为我也没看）

由于我的笔记本太过鸡肋，所以就跑一个蒸馏后的7B模型试试吧

由于大部分优秀的推理框架还是基于Linux的，所以使用的是WSL2安装了Ubuntu20.04来本地部署

直接部署在Windows还是不建议了，Deepseek给出的那些框架大部分都是不支持Windows的，我试了两个没跑通，最终还是转回Linux了

使用的是目前最优的SGLang框架GitHub - sgl-project/sglang: SGLang is a fast serving framework for large language models and vision language models.

二、环

最低0.47元/天 解锁文章
m0_74165632
关注
DeepSeek HuggingFace 70B Llama 版本 （DeepSeek-R1-Distill-Llama-70B）
简简单单Onlinezuozuo
02-14 913
DeepSeek-R1-Zero 是一种通过大规模强化学习 （RL） 训练的模型，没有监督微调 （SFT） 作为初步步骤，在推理方面表现出了卓越的性能。随着 RL 的出现，DeepSeek-R1-Zero 自然而然地出现了许多强大而有趣的推理行为。但是，DeepSeek-R1-Zero 遇到了无休止的重复、可读性差和语言混合等挑战。为了解决这些问题并进一步提高推理性能， DeepSeek 开始了 DeepSeek-R1，它在 RL 之前整合了冷启动数据。
SGLang安装教程，部署你的大模型，性能比vllm好，实现张量并行，数据并行，加快推理速度，亲测效果好。
扶着老奶奶闯红灯
01-23 1万+
SGLang安装教程，部署你的大模型，性能比vllm好，实现张量并行，数据并行，加快推理速度，亲测效果好。目前大模型部署工具主要是vllm，最近出现了SGLang，很多新开源大模型都支持SGLang的部署推理，例如deepseek-R1，Qwen2.5，Mistral，GLM-4，MiniCPM 3，InternLM 2， Llama 3.2等。
DeepSeek本地部署/SGLang/单节点/多节点
qq_44719032的博客
02-27 4312
我们采用SGLang框架进行DeepSeek模型的本地部署，基于物理设备限制，这里我们以DeepSeek-R1-Distill-Qwen-7B为例，更多配置可以参考，满血版本也可参考下述流程，最小设备支持为8*H20。
deepseek部署笔记（vllm、sglang、ollama、Ktransformers）
Eivene的博客
02-27 716
以下全部基于ubuntu22.04操作系统。
如何使用SGlang部署DeepSeek-V3
kcarly的专栏
02-05 3182
SGlang是一个高性能推理引擎，专为混合专家（MoE）语言模型设计，如DeepSeek-V3。它支持多节点张量并行计算，能够在多台机器上协同工作，从而满足大规模模型的部署需求。此外，SGlang还支持FP8（W8A8）和KV缓存优化，并通过Torch Compile技术进一步提升推理效率。
sglang 部署Qwen2VL7B，大模型部署，速度测试，深度学习
q742971636的博客
11-18 2540
图来源：https://lmsys.org/blog/2024-09-04-sglang-v0-3/纯transformer，不用加速框架，我之前的测了一张图的速度是：5.22 seconds，很慢。
从零开始：使用SGlang私有化部署满血版DeepSeek-R1实战指南
荷露叮咚网络学苑
02-25 2429
​是一款拥有671B参数规模的推理大模型，其在数学、编程和推理等复杂任务上的表现，已经与当前主流商业大模型不相上下。本文详细介绍如何使用SGlang作为分布式推理方案，并基于Alaya NeW算力云的弹性容器集群，展示DeepSeek-R1私有化部署的最佳实践。通过这种组合，我们旨在提供一个灵活、可扩展且高性能的解决方案，以支持深度学习模型的高效部署与运行。这一方法不仅提升了模型推理的效率，还确保了在私有化环境下的稳定性和安全性。​
K8s+SGLang实战：DeepSeek-r1:671b满血版多机多卡私有化部署全攻略
2401_85390073的博客
02-16 3966
硬件配置服务器数量（台）CPU（核）内存（TB）系统版本RDMA21922.0Ti软件平台软件名称版本备注Kubernetesv1.30.6容器编排引擎v24.9.1自动化管理配置GPU驱动程序Volcanov1.9.0调度引擎560.35.03GPU驱动560.35.03NVSwitch互联CUDA12.6MLNX_OFEDIB驱动NCCL2.21.5GPU多卡通信SGLangLLM推理引擎v0.5.1。
【从零开始系列】DeepSeek-R1：（本地部署使用）思维链推理大模型，开源的神！——Windows / Linux本地环境测试 + vLLM / SGLang远程部署服务
qq_58718853的博客
02-07 4914
本地部署deepseek的环境安装、模型下载、代码使用、vLLM或SGLang部署教程
DeepSeek本地部署教程(保姆级教程)
XXXXsssxwd的博客
01-30 1万+
【代码】DeepSeek本地部署教程(保姆级教程)
【AIGC魔童】DeepSeek v3推理部署：vLLM/SGLang/LMDeploy
LeeZhao的博客
02-08 4310
DeepSeek v3推理部署：vLLM/SGLang/LMDeploy
DeepSeek R1本地部署与调用指南.zip
02-05
目录： 1.DeepSeek R1本地部署指南 2.DeepSeek R1模型组基本情况介绍 3.DeepSeek R1开源情况介绍 4.DeepSeek R1本地部署与调用流程 5.DeepSeek R1+Ollama、vLLM、SGLang、LMDeploy调用过程 6.DeepSeek R1 Distill模型运行环境搭建 7.借助transformer库调用DeepSeek R1 Distill模型 8.借助ollama调用DeepSeek R1 Distill模型
我是程序员，请问如何使用SGlang部署deepseek-r1
02-20
好的，用户是一个程序员，想要了解如何使用SGlang来部署deepseek-r1模型。首先，我需要确认SGlang是什么，可能是指某个框架或者工具，但根据常见的拼写，可能是SG-Lang或者SGLang。不过，我需要先验证是否存在这样的...
用sglang部署deepseek-R1的步骤
02-06
### 使用 SGLang 部署 DeepSeek-R1 的具体步骤 为了成功部署 DeepSeek-R1 模型，需遵循特定配置与指令来设置环境并启动服务。 #### 设置 GPU 可见性 在多GPU环境中指定要使用的设备非常重要。通过设置 `CUDA_...
本地部署deepseek,不使用ollama,使用引擎vLLM和SGLang启动
qq_48081913的博客
02-18 2350
今天突然得到消息，DeepSeek大模型安装部署所需的O1lama框架存在远程代码执行漏洞！一觉醒来天塌了那么如何不使用ollama纯手工部署deepseek呢？
SGLang、LMDeploy、vLLM、Ollama 集成部署DeepSeek系列模型
最新发布
weixin_44733966的博客
04-11 926
DeepSeek作为当前领先的开源大模型体系，其V3和R1系列模型凭借强大的自然语言处理能力和灵活的架构设计，已成为企业智能化转型的重要基础设施。
在 8x NVIDIA H200 GPUs 上部署 DeepSeek-R1 并进行性能基准测试
weixin_40941102的博客
02-25 1390
最近，DeepSeek-R1 凭借其强大的推理能力和开源特性，成为 AI 社区的热门模型。如果你想在高性能硬件上部署它，或者测试它的极限性能，这篇文章将带你一步步完成。本文将使用 SGLang 推理引擎和 8x NVIDIA H200 GPUs，展示 DeepSeek-R1 的部署和基准测试全流程。在动手之前，我们先聊聊为什么选它们：SGLang 推理引擎 SGLang 是 DeepSeek 官方推荐的推理框架，专为 DeepSeek-V3 和 R1 优化。它支持多节点张量并行、MLA 优化、DP Atte
DeepSeek R1 使用指南：架构、训练、本地部署
热门推荐
max202011161630的博客
01-29 4万+
DeepSeek 在最新论文中详细介绍了他们通过强化学习（RL）提升大语言模型（LLM）推理能力的创新方法——DeepSeek-R1。这项研究标志着一个重要的进展，即如何通过纯强化学习提升 LLM 解决复杂问题的能力，而不依赖于大量的监督微调。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值