【论文阅读】Scaling Laws for Neural Language Models（2020）- 大模型预训练参数量、数据集大小、计算资源之间的关系验证

• 论文链接：https://arxiv.org/pdf/2001.08361

随着大模型的迅速发展，在有限的资源、数据下，该选取多少量级的数据、需要多少GPU资源能满足当前的场景需求呢？这篇文章就是为大家提供一定的参考。信息量很大，可能有理解不对的地方，结合原文一起理解；

给定以下参数：

• $N$：代表模型参数量的大小（不包括tokenize的嵌入层大小）；
• $D$：代表数据集的大小；
• $C$：代表用于训练的计算资源总量（如：GPU个数、每个GPU显存大小确定的总规模数）；

定律总结

首先说下总结：

• 大模型效果最大程度的依赖于模型规模的大小，模型的规模指的就是$N$、$D$、$C$共同确定的，在以上规模达到一定的标准后，模型的超参数如宽度和深度对模型效果的影响较为微弱；
• 大模型效果与$N$、$D$、$C$三个参数都有着独立的power-law关系；
• 同时增加$N$、$D$必然会带来大模型效果的提升，但是如果只提升其中一个变量，就会导致过拟合，性能会发生损失，性能损失的比例为$N^{0.74}/D$，如：模型参数量每提升8倍时，数据量级需要提升至少5倍，从而避免大模型效果弱化；
• 大模型训练的损失曲线也遵循可预测的power-laws，不管是较小的模型还是较大的模型，训练曲线的形状和特性在数学上会表现出类似的幂律关系，即使模型大小不同，通过观察和外推早期的训练曲线，我们也可以预测模型在更长时间训练后的表现；
• 当模型在不同任务的数据上进行评估时，模型的效果可能会有弱化的表现，但是不管怎样，模型的效果和训练时的验证效果息息相关，也就是尽管效果迁移可能会存在弱化的情况，但是 当训练时的评估效果有所提升时，也就意味着在迁移任务上效果也会有所提升；
• 大模型比小模型更高效，能在更少的优化步骤和更少的数据点下达到相同的性能水平；
• 在固定的计算预算下，为了获得最佳的性能，应该训练非常大的模型并在远未达到完全收敛时停止训练。这种方法比训练小模型到完全收敛要高效得多，并且所需的数据量随着计算规模的增加缓慢增长，即$D$～$C^{0.27}$；
• 在训练大型模型时，最佳的批处理大小主要取决于损失函数的表现，通过测量梯度噪声可以确定这个大小，并且对于当前最大的模型来说，最佳的批处理大小大约是100万到200万个token。

定律详情

定律公式

当大模型的训练规模受到限制时，模型的测试损失可以通过以下定律进行预估：

1. 对于参数量有限的模型，在足够大量的数据集上进行训练时，随着模型参数数量的增加，模型的损失会以一定的速率减小，从而提升模型性能：$$L(N)=(N_c/N{)}^{{\alpha }_N};{\alpha }_N～0.076,N_c～8.8\ast 10^{13}(不考虑嵌入层参数量)$$
2. 对于数据集量级有限的情况，需要early stop时的损失随着数据集量级的变化，当数据集量级增加时，模型的损失会以一定的速率降低，从而提升模型效果：$$L(D)=(D_c/D{)}^{{\alpha }_D};{\alpha }_D～0.095,D_c～5.4\ast 10^{13}（tokens）$$
3. 当采用有限的计算资源、充足的数据集、最优大小的模型、足够小的批次进行训练时，模型效果也会随着计算资源的提升而提升：$$L(C_{min})=(C_c^{min}/C_{min}{)}^{{\alpha }_C^{min}};{\alpha }_C^{min}～0.050,C_c^{min}～3.1\ast 10^8（PF-Days）$$
   上述1. 和2. 的公式共同表明，随着模型大小的增长，应当亚线性地控制数据集的量级，即：$D\propto N^{\frac{{\alpha }_N}{{\alpha }_D}}～N^{0.74}$，这两个公式结合的话，损失和数据集大小、模型大小就会有以下关系：$$L(N,D)=[(\frac{N_c}{N}{)}^{\frac{{\alpha }_N}{{\alpha }_D}}+\frac{D_c}{D}{]}^{{\alpha }_D}$$
   下图左边可表明上述表达式针对不同的模型可采用log似然估计对这些变量进行建模。
   
   在无限数据的情况下，当给定一个模型训练一定数量的参数更新step$S$时，$S_{min}(S)$表示达到最优效果的最小step，经过一个初始的瞬态期之后，学习曲线可以被一个特定的模型准确拟合，上图右侧就体现了这种关联性：$$L(N,S)=(\frac{N_c}{N}{)}^{{\alpha }_N}+(\frac{S_c}{S_{min}(S)}{)}^{{\alpha }_S}$$$$S_c～2.1\ast 10^3,{\alpha }_S～0.76$$
   以上常量可能会随着其他变量的不同而有所差异，但是整体的规律性是类似的，如下图，不同参数量模型的情况下，损失随着batch size或者计算资源的收敛情况趋势相近。
   
   如何确定临界最优batch size，决定了并行计算过程中的速度和计算效率，而batch size的选取也和损失计算之间存在一定的规律性：$$B_{crit}(L)=\frac{B_{\ast }}{L^{1/{\alpha }_B}},B_{\ast }～2\ast 10^{8}tokens,{\alpha }_B～0.21$$
   基于上述不同的规律性，当计算资源$C$是固定时，模型参数量$N$、batch size大小$B$、step大小$S$、数据集大小$D$和$C$的关系可以表示如下：$$N\propto C^{{\alpha }_C^{min}/{\alpha }_N},B\propto C^{{\alpha }_C^{min}/{\alpha }_B},S\propto C^{{\alpha }_C^{min}/{\alpha }_S},D=B\ast S$$
   $${\alpha }_C^{min}=1/(1/{\alpha }_S+1/{\alpha }_B+1/{\alpha }_N)$$
   与如下图所示的结果$N\propto C_{min}^{0.73},B\propto C_{min}^{0.24},S\propto C_{min}^{0.03}$是十分吻合的，也说明随着模型越来越大，增加样本提升的收益会更高。
   

定律参数定义&计算

对于模型大小参数$N$而言，它是基于超参数网络层数$n_{layer}$、数据维度$d_{model}$、前馈神经网络的维度数$d_{ff}$、注意力机制的输出维度数$d_{attn}$、注意力机制的头数$n_{heads}$、以及输入上下文token数$n_{ctx}$，默认为1024，则有：$$N\approx 2d_{model}{n}_{layer}(2d_{attn}+d_{ff})=12n_{layer}{d}_{mdoel}^2$$
其中，按照常规的$d_{attn}=d_{ff}/4=d_{model}$进行换算就能得到上述结果。在大模型参数量计算时其实还有两个比较大的参数即tokenize过程中的参数量，嵌入层是$n_{vocab}{d}_{model}$，还有位置编码的部分参数$n_{ctx}{d}_{model}$，这部分参数量是没有考虑进去的，即$N$的计算不包含文本向量化的这部分参数。Transformer前向传播过程中所需要的计算资源可以估计如下：$$C_{forward}=2N+2n_{layer}{n}_{ctx}{d}_{model}$$更详细的资源估计计算可参考下表：

对于$d_{mdoel}>n_{ctx}/12$的模型而言，每个token转换计算对于总的计算而言占比相对较小，而对于$d_{model}>>n_{ctx}/12$的大模型而言，就更不需要把文本向量化的参数考虑进去，再把梯度反向传播的过程考虑进来，计算资源和模型参数量之间的关系就可以估算为$C\approx 6N$。

实验详情

为了验证不同的配置对模型效果（损失）的影响，测试了不同的变量对模型效果的影响：

• 模型大小：从768到1.5B的参数范围；
• 数据集量级：从22到23B的数据量级；
• 模型结构：深度、宽度、多头注意力头数、前向反馈层维度数；
• 上下文token长度：最长1024；
• Batch Size：大多数$2^{19}token/batch$，但是对于不同的实验也会调整，使之达到最优解；

1. 当模型的参数量$N$固定时，模型的效果和模型结构参数的关联性是很微弱的，也就是说改变模型结构其实对最终结果的影响没有很大，比如，一个层数为6、隐藏层维度为4288的模型，其损失值仅比一个层数为48、隐藏层维度为1600的模型高3%。
   
2. 当其他参数固定时，模型效果会随着模型大小的增大而增大，如下图所示，即：$$L(N)\approx (\frac{N_c}{N}{)}^{{\alpha }_N}$$
   
   如下图所示，在不同的数据集上进行训练，这种关系的常数几乎是一致的，更进一步地验证了上述规律性：
   
3. 比较了LSTM和Transformer在不同的变量情况下模型效果的变化，LSTM在前期和Transformer持平，到后面就不如Transformer了，如下图所示：
   
4. 数据集大小和计算资源大小的影响如总结中所示，$$L(D)\approx (\frac{N_c}{N}{)}^{{\alpha }_D}$$
   $$L(C)\approx (\frac{N_c}{N}{)}^{{\alpha }_C}$$

实验最终计算出来的各个常量数据如下：

那么为了避免过拟合，样本的数据量级应该多大呢？在所有实验的模型中，采用全量的$22Btoken$量的数据进行训练时，并未发生过拟合现象，说明当前数据是足够充分的，即可理解为$D～\infty$，因此可以得出：$$\delta L(N,D)\equiv \frac{L(N,D)}{L(N,\infty )}-1$$上述求偏导仅把损失看作是和$N、D$相关的函数，如下图右边所示，再根据之前$N、D$之间的scaling law，该偏导公式可以表示为：$$\delta L(N,D)\approx (1+(\frac{N}{N_c}{)}^{\frac{{\alpha }_N}{{\alpha }_D}}\frac{D_c}{N_c}{)}^{{\alpha }_D}-1$$因此为了避免过拟合，数据集的量级需要满足以下公式：$$D\gtrsim (5\ast 10^3)N^{0.74}$$

5. 在训练过程中，Batch Size大小对模型的效果影响其实也很大，当$B=B_{crit}$时的训练效率是最高的，当$B>>B_{crit}$能够使得Step降至最低，$B<<B_{crit}$的计算资源消耗是最大的，在训练过程成训练step大小$S$和批次大小$B$之间遵循着简单的关系$E=BS$：$$(\frac{S}{S_{min}}-1)(\frac{E}{E_{min}}-1)=1$$
   其中，$S_{min}$是训练至固定损失时的最小Step值，$E_{min}$是最小的处理数据量级估计，因此最佳的Batch Size可表示为：$$B_{crit}=\frac{E_{min}}{S_{min}}$$最优的Batch Size选取可以在模型训练效率上有很大的提升，因此可以基于此去确定训练Step和最小样本集合，如，若需要的样本量级为$2E_{min}$，那么Step设置也应为$2S_{min}$。Batch Size的选取和模型无关，独立和损失挂钩：$$B_{crit}(L)=\frac{B_{\ast }}{L^{1/{\alpha }_B}},B_{\ast }～2\ast 10^{8}tokens,{\alpha }_B～0.21$$
   可以使用$B_{crit}(L)$来估计$B=2^{19}$且$B>>B_{crit}$时损失可达最小的最优Step：$$S_{min}(S)=\frac{S}{1+B_{crit}(L)/B},B>>B_{crit}$$
   也可以估计模型大小为$N$且$B<<B_{crit}$时的达最小损失的最优计算资源消耗量：$$C_{min}(C)=\frac{C}{1+B_{crit}(L)/B},B<<B_{crit}$$其中$C=6NBS$预估了在$B$下的计算资源；
6. 在已经得到了$S_{min}$的情况下，模型大小$S$对模型效果的影响就可以表示为：$$L(N,S_{min})=(\frac{N_c}{N}{)}^{{\alpha }_N}+(\frac{S_c}{S_{min}}{)}^{{\alpha }_S}$$其中各个参数的实验结果如下：
   
   那么在数据有限的情况下，如何控制模型的early stop机制来避免过拟合呢？采用下界估计的方法，这个方法基于一个假设：在达到 $S_{min}\approx S_{stop}$之前，有限数据和无限数据的学习曲线几乎相同。可以通过以下公式来预估early stop的Step，超过预估值时会发生过拟合：$$S_{stop}(N,D)\gtrsim \frac{S_c}{[L(N,D)-L(N,\infty ){]}^{\frac{1}{{\alpha }_S}}}$$
   当我们知道$L(C_{min})$（即在某一最小损失下的训练计算量）时，问题转向寻找能在这种计算量下提供最小损失的模型大小，并指出 $N(C_{min})$ 可以很好地用幂律来拟合，这意味着模型大小与计算量之间存在一种特定的数学关系：$$N(C_{min})\propto (C_{min}{)}^{0.73}$$
   在之前的计算中$C_{min}=6N{B}_{crit}S$，可以推导出$B\propto L^{-4.8}$和$L\propto C_{min}^{-0.05}$，从而可以推导出$B_{crit}\propto C_{min}^{0.24}$，因此最优训练步数（$B_{crit}$）随着计算量（$C_{min}$）的增加会非常缓慢地增长，换句话说，当计算量增加时，需要增加的训练步数并不会显著增加，这对计算资源的优化利用有重要意义，即：$$S_{min}\propto (C_{min}{)}^{0.03}$$也就是说当我们用优化的计算分配来扩大语言建模时，我们应该主要增加模型大小$N$，同时通过$B\propto B_{crit}$来扩大批量大小，而Step数量的增加可以忽略不计。
   对于之前提到的等式$L(N,S_{min})$，可以用$S_{min}=\frac{C_{min}}{6NB}$来进行替换，并把损失函数看成一个和变量$N$相关的函数：$$L(C_{min})=(\frac{C_c^{min}}{C_{min}}{)}^{{\alpha }_C^{min}}$$
   $${\alpha }_C^{min}=\frac{1}{1/{\alpha }_S+1/{\alpha }_B+1/{\alpha }_N}\approx 0.054$$同时还能做出以下推断：$$N(C_{min})\propto (C_{min}{)}^{\frac{{\alpha }_C^{min}}{{\alpha }_N}}\approx (C_{min}{)}^{0.71}$$
   为了避免过拟合，我们已知数据集大小应该设置为$$D\propto N^{0.74}\propto C_{min}^{0.54}$$
   当我们以最优批次$B_{crit}$进行训练时，如$C=2C_{min}$，当不包含重复数据时，数据量的要求随着计算资源的增加而增长：$$D(C_{min})=\frac{2C_{min}}{6N(C_{min})}\approx (4\ast 10^{10}tokens)(C_{min}/PF-Day{)}^{0.26}$$
   当我们受数据集大小（即过拟合）的限制时，损失应按$L(D)\propto D^{0.95}$来计算，也即$L(D(C_{min}))\propto C_{min}^{-0.03}$。如图所示在$L(D(C_{min}))\propto C_{min}^{-0.05}$的scaling law的情况下也有一个交点：
   
   根据以上的多条scaling laws，当某个变量受到限制时会需要调整缩放定律的常量，这种调整可能会存在一定的矛盾点或者存在和其他slacing law的交叉点，因此在实际落地过程中，可能也不是100%没有问题的，存在交叉点或矛盾点的具体情况有：$$C^{\ast }\sim 10^{4}PF-Days,N^{\ast }\sim 10^{12}parameters,D^{\ast }\sim 10^{12}tokens,L^{\ast }\sim 1.7nats/token(6.8)$$