Scaling Law

Scaling Law，又称规模定律、缩放定律或尺度定律。在人工智能领域，Scaling Law通常用来描述模型性能如何随着模型大小（如参数数量）、数据集大小和计算资源的增加而变化，并且这些变化通常遵循幂律关系。例如，腾讯发布的市场上最大的开源 MoE 模型——Hunyuan-Large，其背后的 Scaling Law 公式为：C≈9.59ND+2.3×10⁸D，为我们理解 MoE 模型的性能瓶颈和资源配置提供了全新视角。在大模型的发展中，Scaling Law 起着重要作用。张亚勤和李开复均认为，Scaling Law 是大模型发展重要的要素，且还没有达到顶峰，至少在未来五年内还是大的方向。大模型的成功很大程度上要归因于 Scaling Law 的存在，它为模型开发、资源分配和选择合适的训练数据提供了宝贵的指导。斯坦福大学和谷歌的研究者探索了迁移学习的 Scaling Law，聚焦于机器翻译任务，具体讨论了预训练数据集大小与任务微调后下游任务性能之间的关系，发现除了微调数据大小和性能指标的选择外，这种关系从根本上取决于预训练数据和下游任务之间的一致性。此外，在探索垂域大语言模型的续训阶段的 Scaling Law 中，提出了 D-CPT Law，在六个垂域上的 r2 系数达到了 0.97，huber loss 小于 0.02，在预测性和泛化性上都展现了强大的表现。Scaling Law 在不同领域有着广泛的应用，如在复杂性体系中，《规模:复杂世界的简单法则》的作者韦斯特从生物、城市、企业等不同领域共有的规律出发，抽象出规模法则，表现为“规模缩放”。在人工智能研究中，中国科学院自动化研究所李国齐、徐波研究团队联合清华大学、北京大学等同行学者，借鉴大脑神经元复杂动力学特性，提出“基于内生复杂性”的类脑神经元模型构建方法，改善了