本地部署deepseek,不使用ollama,使用引擎vLLM和SGLang启动

今天突然得到消息，DeepSeek大模型安装部署所需的O1lama框架存在远程代码执行漏洞！一觉醒来天塌了

那么如何不使用ollama纯手工部署deepseek呢？

1.首先访问deepseek官网

DeepSeek | 深度求索

2.根据自己的需求下载对应的大模型

如何选择自己需要的呢？

DeepSeek-V3

通用型模型：专注于自然语言处理、知识问答、内容创作等通用任务，目标是实现高性能与低成本的平衡，适用于智能客服、个性化推荐系统等场景。

训练重点：通过算法优化降低训练成本，采用多令牌预测（MTP）和无辅助损失负载均衡策略提升效率，支持128K上下文窗口。

DeepSeek-R1

推理专用模型：专为数学、代码生成和复杂逻辑推理任务设计，通过大规模强化学习（RL）提升推理能力，对标OpenAI o1系列。

创新训练方法：完全摒弃监督微调（SFT），采用纯强化学习（如GRPO算法）训练基座模型，并通过冷启动数据优化可读性。

跳转地址

GitHub - deepseek-ai/DeepSeek-R1

国内访问github会比较卡

可以加kk

GitHub - deepseek-ai/DeepSeek-R1

3.下载大模型压缩包

这个链接下载的只是一个说明文档，

解压-可以使用VS CODE打开

根据自己的显卡性能下载

直接访问huggingface会比较卡，可以选择晚上进行下载，

或者使用huggingface的镜像

或者使用易树科技官网

DeepSeek R1 Distill 本地部署相关资料

或者前往魔塔

组织详情 · 魔搭社区

大模型下载好之后，

4.搭建引擎

仔细访问deepseek的文档，

文中说明可以使用vLLM和SGLang引擎启动服务

那么这两个引擎应该使用那个呢，当然是根据自己的大模型类型来选择

vLLM：

广泛应用于自然语言处理领域的文本生成、机器翻译、情感分析、问答系统等。

在对话系统中，vLLM可以用于构建智能客服、聊天机器人等应用，提供流畅的对话体验。

SGLang：

主要集中在处理结构化数据上，如社交网络分析、推荐系统等。

通过高效的图数据推理能力，SGLang能够为用户提供精准的推荐结果和深入的数据分析。

R版本适合SGlang

因此

5.下载SGlang引擎

通过访问

GitHub - sgl-project/sglang: SGLang is a fast serving framework for large language models and vision language models.

如果无法访问就在github前加kk

来进行下载

下载完成后解压，使用VSCODE打开，先访问README.md

6.使用SGlang引擎

正在研究，未完待续！

---