通俗易懂地说说DeepSeek的原理

通俗易懂地说说DeepSeek的原理

Jet AI大模型实验室 2025年02月08日 08:52 北京

DeepSeek 简直可以称为华人之光，最近在 AI 领域风头一时无两，聊天的时候不说下 DeepSeek 咱都不好意思开口。它不仅在性能上超越了 OpenAI 的 ChatGPT，还在 App Store 下载排行榜中位居第一，这是连 Claude 都没有过的。DeepSeek 的成功，离不开其独特的训练方式和技术创新。下面我们一起看看 DeepSeek 的训练过程、工作原理以及优化与创新之处。

#01

DeepSeek 的训练过程

训练语言模型通常分为两个阶段：预训练和后训练，DeepSeek 也不例外，也是这两个阶段。

预训练阶段

DeepSeek 在预训练阶段的目标是让模型学习语言的通用规律。这一阶段主要通过预测互联网上的海量文本数据中的下一个 Token 来实现。预训练阶段处理的数据量通常以数万亿级别的 Token 计，数据主要来源于网络抓取，如 Common Crawl 等公开数据集。通过这种方式，模型能够学习到语言的基本模式和结构。

预训练阶段的复杂性主要体现在训练过程的演进方式和不同损失函数的选择上。许多预训练技术都源于自然语言处理领域的文献。指令微调就