LLM：Scaling Laws for Neural Language Models （中）

核心结论

1：LLM模型的性能主要与计算量C，模型参数量N和数据大小D三者相关，而与模型的具体结构 (层数/深度/宽度) 基本无关。三者满足:  C ≈ 6ND

2. 为了提升模型性能，模型参数量N和数据大小D需要同步放大，但模型和数据分别放大的比例还存在争议。（参见下篇文章）

首先看一下核心结论1是怎么推导得到的。

针对transformer结构：Parameters 参数量（不含embedding层）为N，每个Token前向传播消耗运算量C 约为 2N，反向传播的运算量又是前向传播运算量的两倍，所以每个Token需要花费的运算量C 约为 2N + 2*(2N) = 6N。现在Token的数量为D，所以总的运算量为C = 6N*D。