什么是大模型的Scaling Raw？

一、概念

        随着学界和业界对大模型的训练越来越深入，行内逐渐总结出了一套颇有信服力的理论，并称之为大模型的Scaling Law（缩放定律，也有翻译为尺度定律）。这个大模型领域的Scaling Law描述了模型的性能如何随着模型规模（如参数数量）、训练数据量、计算资源的增加而变化。当然，最初这个法则有个重要的前提——模型应当是基于Transformer架构的。这个概念来自OpenAI在2020年发表的论文《Scaling Laws for Neural Language Models》，最近似乎这个定律又火了，各路大神不是在证明它依然有效，就是在验证它是否失效。

二、Scaling Law要点解析

1、模型性能与规模强相关

        Scaling Law表明，模型性能主要取决于模型参数数量（N）、数据集大小（D）和训练计算量（C），在合理范围内，对其他架构超参数（如深度与宽度）的依赖较弱。也就是说即便模型的结构差异很大