Transformer模型——token及模型参数

预训练模型变现影响因素

• 模型表现强依赖于模型规模（模型参数量、训练Token数、训练总计算量）；
• 平滑幂定律：模型表现与三个因子均遵循幂定律，不受另外两个因子限制；
• 在给定计算量预算下，模型参数量以及训练Token数应该同比提升；
  总的来说，随着适当的提高模型大小、数据和计算能力，语言建模性能会平稳、可预测地提高。更大的语言模型将比其他模型表现更好，并且更具样本效率。

预训练数据Token重复是否影响模型性能？

• 多轮epoch的训练会降低模型性能；
• 更大规模的数据集会缓解重复epochs对模型性能下降的影响；
• 提高数据集的质量也无法挽救重复训练带来的过拟合；
• 小计算量模型的过拟合趋势与大计算量的差不多；
• 多样的训练目标不一定减轻Epoch的性能下降；
• Dropout是一个被大预言模型忽视的正则技术，虽然慢，但是可以降低多epochs的影响；
• 在训练过程中逐渐使用Dropout是有效的策略；

预训练数据集重复的影响是什么

• 模型参数规模与tokens数量需要匹配；
• 多轮epoch的训练会降低模型性能；
  数据集重复的次数越多，模型的性能越差，如果tokens数量不够，模型参数规模越大，越容易出现过拟合现象；

影响多次Epochs训练效果下降的原因是什么？

• 更大规模的数据集会缓解重复epochs对模型性能下降的影响；
• 提高数据集的质量也无法挽救重复训练带来的过拟合；
• 参数数量和FLOPs在重复训练上的影响；
  模型规模的增长其实表现在两个方面，一个是模型参数，一个是模型所需要的计算量。模型参数相同的情况下，采用不同的模型架构所需啊哟的FLOPs是不同的。经测试发现，FLOPs较大的模型性能会更好一点，但是依然无法有效降低重复训练带来的模型损失。
• 小计算量模型的过拟合趋势与大计算量的差不多；
• 多样的训练目标可以减轻多Epoch下降；

正则化可以降低多epochs的影响吗？

• Dropout是一个被大语言模型忽视的正则技巧，虽然慢，但是可以降低很多epochs的影响；
• 在训练过程中逐渐使用Dropout是有效的策略；
  如果前期训练不适用Dropout，在后期的迭代中使用Dropout也是有效的；
• Dropout对不同规模模型的影响不同；
  在不同规模模型下是不同的，对于规模较大的模型，Dropout不能有效降低多epochs带来的坏处。
• 通过MoE扫描确定稠密模型的最佳超参数；

多epochs训练对大语言模型性能的影响

在tokens数量一定的数据集上做多epochs的模型训练，会影响模型的性能，降低模型的效果。这在预训练和下游任务都会产生影响。但是，随着模型的发展，高质量数据集的tokens数将很快用完。而采用正则技术虽然会影响模型训练效率，但是会降低这种影响。