在全球人工智能大模型的激烈竞争中,DeepSeek 宛如一匹黑马,迅速崛起并成为行业焦点。它的异军突起并非偶然,而是多种因素共同作用的结果,同时也对外界产生了深远的影响。
一、崛起原因
(一)强大的技术实力
- 创新的架构设计
DeepSeek 在模型架构方面不断创新。以 DeepSeek - V2 为例,它采用 Transformer 架构,其中每个 Transformer 块由一个注意力模块和一个前馈网络 (FFN) 组成。在注意力机制和 FFN 方面,研究团队设计并采用了创新架构,引入 MLA (Multi - head Latent Attention) 架构,大幅减少了计算量和推理显存。自研 Sparse 结构 DeepSeekMoE 进一步将计算量降低,两者结合最终实现模型性能跨级别的提升 。而 DeepSeek - V3 模型采用了混合专家架构,带有多头潜在注意力变压器,包含 256 个路由专家和 1 个共享专家,每个令牌可激活 370 亿个以上的参数。这种独特的架构设计使得模型在处理复杂任务时能够更加高效地分配计算资源,提升了模型的性能和泛化能力,在数学能力、算法类代码场景等方面表现出色,在多语言编程测试排行榜中,已超越 Anthropic 的 Claude 3.5 Sonnet 大模型,仅次于 OpenAI o1 大模型。
2.高效的训练机制
DeepSeek - V3 在约 55 天内完成训练,成本为 558 万美元,相比同类型模型使用的资源显著减少。它基于 14.8 万亿个令牌的数据集进行训练,全部训练成本总计为 557.6 万美元(仅包括正式训练成本,不包括与先前在架构