DeepSeek 模型全览：探索不同类别的模型

茫茫人海一粒沙

已于 2025-04-12 10:16:31 修改

阅读量1.8w

点赞数 47

分类专栏： LLM 文章标签：语言模型

于 2025-01-30 17:16:07 首次发布

本文链接：https://blog.csdn.net/keeppractice/article/details/145399299

版权

LLM 专栏收录该内容

12 篇文章

订阅专栏

DeepSeek 是近年来备受关注的 AI 研究团队，推出了一系列先进的深度学习模型，涵盖了大语言模型（LLM）、代码生成模型、多模态模型等多个领域。本文将大概介绍 DeepSeek 旗下的不同类别的模型，帮助你更好地理解它们的特点和应用场景。

DeepSeek官网：DeepSeek

Deepseek在Huggingface的地址：https://huggingface.co/deepseek-ai

1. DeepSeek LLM（大语言模型）

DeepSeek LLM 是 DeepSeek 推出的通用大语言模型，主要用于文本生成、文本理解、对话交互等任务。这些模型采用 Transformer 架构，并经过大规模的预训练和指令微调，以提供更自然、智能的文本处理能力。

主要特性：

支持多种任务：问答、文本补全、翻译等。
经过 RLHF（人类反馈强化学习）优化，提高回答质量。
适用于各种 NLP 任务，如聊天机器人、智能客服、文本摘要等。

训练方式：它是在包含 2 万亿个英文和中文标记的庞大数据集上从头开始训练的。

论文地址： [2401.02954] DeepSeek LLM: Scaling Open-Source Language Models with Longtermism

2. DeepSeek Coder（代码生成模型）

DeepSeek Coder是针对编程任务优化的代码生成和理解模型，可用于代码补全、代码解释、自动修复等。

主要特性：

支持多种编程语言，如 Python、Java、C++、JavaScript 等。
能够基于自然语言描述生成代码，提升开发效率。
代码补全和重构能力强，可用于 IDE 插件或自动化开发工具。

训练方式：基于DeepSeek LLM 模型继续运行得到的。

论文地址：[2401.14196] DeepSeek-Coder: When the Large Language Model Meets Programming -- The Rise of Code Intelligence

3. DeepSeek-VL（多模态模型）

DeepSeek-VL(Vision-Language) 是 DeepSeek 推出的多模态 AI 模型，能够处理文本、图像等不同模态的数据，实现跨模态的理解与生成。

主要特性：

能够根据文本生成图像，支持 AI 绘画任务。
具备图像理解能力，可以进行图片标注、OCR 识别等。
适用于 AIGC（人工智能生成内容）、数字创意等领域。

模型类别：DeepSeek-VL, DeepSeek-VL2

论文地址：[2403.05525] DeepSeek-VL: Towards Real-World Vision-Language Understanding

4. DeepSeek Math（数学推理模型）

DeepSeek Math 主要针对数学推理任务优化，适用于数学问题求解、公式推导、数学建模等任务。

主要特性：

适用于解方程、数学证明、数值计算等任务。
结合符号推理和深度学习，提高数学问题的解答能力。
可用于数学教育、科学研究等领域。

论文地址： [2402.03300] DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models

5. DeepSeek Chat（对话模型）

DeepSeek Chat 是专门针对对话任务优化的聊天 AI，旨在提供更自然、更符合人类沟通习惯的交互体验。

主要特性：

经过 RLHF 训练，提高对话的连贯性和可控性。
适用于 AI 助手、智能客服、社交聊天等应用场景。
支持多轮对话记忆，提升用户体验。

6. DeepSeek MoE（专家混合模型）

DeepSeek MoE（Mixture of Experts）采用专家混合架构，它只激活特定任务所需的子模型。这种设计提高了计算效率，降低了训练成本，这就是它的独特之处。在计算效率和模型能力之间取得平衡，适用于大规模推理任务。MOE相关的博客。

DeepSeek-V3 的训练总共使用了 2,788,000 H800 GPU小时，官方提到 DeepSeek 使用了 2048 块 H800 GPU 进行训练，因此：

$\frac{2,788,000}{2048} \approx 1361 \text{ hour} \approx 56.7 \text{ day}$

这大约是 55~57 天，

主要特性：

采用 MoE 机制，提高计算效率。
适用于超大规模 NLP 任务。
结合多个子模型，根据任务动态分配计算资源。

论文地址：[2401.06066] DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models

不同版本， DeepSeek-V2， DeepSeek-V2-Lite， DeepSeek-V3 ....

7. DeepSeek-R1

基准模型：DeepSeek-R1-Zero 和 DeepSeek-R1 都是在DeepSeek-V3-Base模型的基础上训练出来的。

DeepSeek-R1-Zero

DeepSeek-R1-Zero 是一个通过大规模强化学习（RL）训练的模型，在训练过程中未使用监督微调（SFT）作为初步步骤，展现出了卓越的推理能力。通过强化学习，DeepSeek-R1-Zero 自然涌现出许多强大且有趣的推理行为，例如在 AIME 2024 数学竞赛中，其 pass@1 分数从 15.6% 提升至 71.0%，接近 OpenAI 的同类模型水平。训练过程中，模型展现了自我进化能力，如反思和重新评估解题方法。然而，DeepSeek-R1-Zero 也面临一些挑战，例如无尽重复(endless repetition)、可读性差(poor readability)以及语言混杂(language mixing)等问题。

为了解决这些问题并进一步提升推理能力，我们引入了 DeepSeek-R1，该模型在强化学习之前加入了冷启动数据（cold-start data）。DeepSeek-R1 在数学、编程和推理任务上的表现可与 OpenAI-o1 相媲美。

DeepSeek-R1

DeepSeek-R1 是 DeepSeek 开发的开源 AI 模型，在多个基准测试中表现出色，甚至超越了一些行业领先的模型。值得注意的是，DeepSeek-R1 的开发成本仅为 600 万美元，远低于其他大型 AI 模型的开发费用

8. DeepSeek-R1-Distill 模型

知识蒸馏（Distillation）：小型模型也能强大

已被DeepSeek证明了，大型模型的推理模式可以被蒸馏到小型模型中，从而使其推理能力优于直接在小型模型上通过强化学习（RL）获得的推理模式。

利用 DeepSeek-R1 生成的推理数据，对多个广泛应用于研究领域的稠密模型进行了微调。评测结果表明，这些蒸馏后的小型稠密模型在基准测试中表现出色。DeepSeek向社区开源了基于 Qwen2.5 和 Llama3 系列的 1.5B、7B、8B、14B、32B 和 70B 规模的模型检查点，以促进研究与发展。