DeepSeek是怎么做到降低成本的？

DeepSeek-V3 训练成本的最大因素：

MoE 架构：通过稀疏激活机制大幅减少了计算量。
FP8 训练：通过低精度计算减少了 GPU 内存使用和计算开销。

训练成本的主要构成

在训练像 DeepSeek - V3 这样的大型模型时，训练成本主要来源于两方面：

一是计算资源的使用，即需要大量的计算操作来处理数据和更新模型参数；

二是内存资源的使用，模型需要在内存中存储大量的数据和参数。

因此，减少计算量和内存使用是降低训练成本的关键。

MoE 架构：通过稀疏激活机制大幅减少计算量

什么是 MoE 架构

MoE 即 Mixture of Experts（专家混合）架构。想象有一个大型的问题解决团队，这个团队里有很多不同领域的专家（比如数学专家、语言专家、历史专家等）。当遇到一个具体问题时，不需要让所有专家都参与进来，只需要挑选最擅长解决这个问题的几个专家来处理。

如何减少计算量

在传统的神经网络中，每一层的所有神经元都会参与到计算中。但在 MoE 架构里，通过稀疏激活机制，模型会根据输入数据动态地选择一部分“专家”（也就是部分神经元或子网络）来进行计算。例如，在处理图像识别任务时，如果输入的是一张动物图片，那么模型可能只会激活与动物特征识别相关的“专家”进行计算，而其他不相关的“专家”则处于休眠状态。这样一来，就避免了不必要的计算，大幅减少了整体的计算量，从而降低了训练成本。

FP8 训练：通过低精度计算减少 GPU 内存使用和计算开销

什么是 FP8 训练

在计算机中，数据通常以不同的精度格式进行存储和处理，比如常见的 FP32（32 位浮点数）和 FP16（16 位浮点数）。FP8 则是一种 8 位浮点数格式，它使用更少的比特位来表示一个数值。

如何减少内存使用和计算开销

• 减少 GPU 内存使用：可以把内存想象成一个大仓库，每个数据就像是仓库里的货物。FP32 格式的数据就像是体积较大的货物，占用的仓库空间多；而 FP8 格式的数据则像是体积较小的货物，占用的仓库空间少。因此，使用 FP8 训练时，模型可以在同样大小的 GPU 内存中存储更多的数据和参数，或者在存储相同数据量的情况下，只需要更小的内存空间，从而减少了对 GPU 内存的需求。
• 减少计算开销：计算机在进行计算时，处理位数较少的数据比处理位数较多的数据更加快速和高效。就好比做加法运算时，计算 8 位数字相加比计算 32 位数字相加要简单得多。所以，使用 FP8 进行训练可以减少计算所需的时间和资源，降低计算开销，进而降低训练成本。