16元推理成本，DeepSeek动了谁的蛋糕？

本文链接：https://blog.csdn.net/OneThingAI/article/details/145736877

近期，国产大模型DeepSeek R1-67B的推理成本引发热议——官方定价16元/百万token，究竟亏不亏？

有分析认为成本可低至4元，也有实测显示高达150元。这背后是算力、通信、显存优化的复杂博弈。本文将用“人话”拆解技术内幕，带你看懂大模型推理的降本逻辑。

分析：

以及之前传播很广的关于4090 做LLM推理的分析：

https://www.zhihu.com/question/615946801/answer/3205148871

为了理解怎么搞才是高性能的模型部署，我们首先要能找到瓶颈在哪里，或者从优化的角度看就是找到目标函数的限制条件。（以下讨论都不涉及量化等操作）

背景知识

先简单的了解一下Roofline分析，

更深入的理解可以参考文章Roofline

Roofline分析大体上讲主要分析的是到底通信（显存带宽，多卡互联）是瓶颈，还是算力是瓶颈。在大语言模型的场景下还有一个限制条件没有考虑，就是kvcache 占用的空间大小。

DeepSeek V3 模型结构

MoE概念的理解可以参考 MoE 模型训练

关于DeepSeek 模型结构的解读可以参考DeepSeek V3 模型结构解读

参考 A Mathematical Framework for Transformer Circuits 我们可以把Transformer看作一个残差流

然后结合DeepSeek的论文来看它的架构调整

DeepSeek 对Attention和MLP做了替换。

如上图 Attention 层对K，V做了压缩（为什么能压缩，有什么风险），kvcache时只需要存上图红框里的2个部分（更多细节可以参考论文）以此降低kvcache的大小，所以 2 里计算

我们这里要做一些修正 k v 按BF16 存储，每个输出长度按1w token计算，那么就只要batch size 113就能占完卡的显存（算力，通信外的另一个限制）。

针对MLP替换成了DeepSeekMoE。在V3 模型61层中前3层还是MLP（模型很深，梯度下降的算法在往后的层从训练数据中得到的特征会少，导致MLP里linear layer天然是低秩的）。细节可以参考下面的代码和配置文件。

总结

1，1-5 篇文章中1，2 估算了EP320 这种部署，到底能可以支持多大的并发。1 认为瓶颈在通信这个判断单台和8卡H100支持600左右的并发请求是很合理的。因为首先H100 FP16 989TFLOPs的算力，FP8 等于989 * 2，以989 T来做Arithmetic intensity的预估也就是295 FLOPs/byte，大体可以理解为只要单卡batch size 不大于295则算力不是瓶颈。我们回来计算成本，假设单卡按2的预估支持40并发请求，每个请求每秒32 token 做为lower bound，按道理应该并发数应该高于这个值。那么按H100 每小时2美元，成本确实不到4块， 16 块钱百万token有利润。API业务能不能赚钱核心问题就转化为跑满率的问题了。（如果低峰期跑不满怎么办呢，是不是可以进一步把算力调度来做RL训练）

2，关于百万token 成本150块，直接见下图