解析大模型中的Scaling Law

最新推荐文章于 2025-03-03 16:38:29 发布
最新推荐文章于 2025-03-03 16:38:29 发布
阅读量1.8w 收藏 40
点赞数 15
文章标签： 人工智能
原文链接：https://mp.weixin.qq.com/s?__biz=MzI3ODgwODA2MA==&mid=2247523889&idx=5&sn=2337f52ab06573e3b6a12c3526fad362&chksm=eb538aa2dc2403b4d306e9e55d548b016ca8ab39e5366f06292a7a1ade45409be0d896f5bfd4&scene=126&sessionid=0
版权

写在前面

来自：NLP工作站

nice！这是一个快速了解LLM时代下最新研究的学术分享平台

今天给大家带来一篇《解析大模型中的Scaling Law》，来自知乎@nghuyong

知乎：https://zhuanlan.zhihu.com/p/667489780

在大模型的研发中，通常会有下面一些需求：

  • 计划训练一个10B的模型，想知道至少需要多大的数据？

  • 收集到了1T的数据，想知道能训练一个多大的模型？

  • 老板准备1个月后开发布会，能用的资源是100张A100，那应该用多少数据训一个多大模型最终效果最好？

  • 老板对现在10B的模型不满意，想知道扩大到100B模型的效果能提升到多少？

以上这些问题都可以基于Scaling Law的理论进行回答。本文是阅读了一系列caling Law的文章后的整理和思考，包括Scaling Law的概念和推导以及反Scaling Law的场景，不当之处，欢迎指正。

核心结论

大模型的Scaling Law是OpenAI在2020年提出的概念[1]，具体如下:

  1. 对于Decoder-only的模型，计算量(Flops), 模型参数量, 数据大小(token数)，三者满足: 。(推导见本文最后)

  2. 模型的最终性能「主要与」计算量，模型参数量和数据大小三者相关，而与模型的具体结构(层数/深度/宽度)基本无关。

e005326347d9c36bf43da1175adac2ae.png

固定模型的总参数量，调整层数/深度/宽度，不同模型的性能差距很小，大部分在2%以内

  1. 对于计算量，模型参数量和数据大小，当不受其他两个因素制约时，模型性能与每个因素都呈现「幂律关系」

e5b81a9a70ad5b936bb4c539c8aba1c3.png
basic

  1. 为了提升模型性能，模型参数量和数据大小需要同步放大，但模型和数据分别放大的比例还存在争议。

  2. Scaling Law不仅适用于语言模型，还适用于其他模态以及跨模态的任务[4]：

d6a842ca4c8a5f4d1b4b586db5deb928.png
multi_modal

这里横轴单位为PF-days: 如果每秒钟可进行次运算，就是1 peta flops，那么一天的运算就是，这个算力消耗被称为1个petaflop/s-day。

核心公式

d157b51ff05fdb91e19778d2c27c93d4.png

  • 第一项是指无法通过增加模型规模来减少的损失，可以认为是数据自身的熵（例如数据中的噪音）

  • 第二项是指能通过增加计算量来减少的损失，可以认为是模型拟合的分布与实际分布之间的差。

根据公式，增大(例如计算量)，模型整体loss下降，模型性能提升；伴随趋向于无穷大，模型能完美拟合数据的真实分布，让第二项逼近0，整体趋向于

大模型中的Scaling Law

GPT4

下图是GPT4报告[5]中的Scaling Law曲线，计算量和模型性能满足幂律关系

de2df8c6ef249969f7d54d7771467e6d.png

  • 横轴是归一化之后的计算量，假设GPT4的计算量为1。基于10,000倍小的计算规模，就能预测最终GPT4的性能。

  • 纵轴是"Bits for words", 这也是交叉熵的一个单位。在计算交叉熵时，如果使用以 2 为底的对数，交叉熵的单位就是 "bits per word"，与信息论中的比特（bit）概念相符。所以这个值越低，说明模型的性能越好。

Baichuan2

下图是Baichuan2[6]技术报告中的Scaling Law曲线。基于10M到3B的模型在1T数据上训练的性能，可预测出最后7B模型和13B模型在2.6T数据上的性能

35db4f94a7c5988a9c798d345abfae50.png

MindLLM

下图是MindLLM[7]技术报告中的Scaling Law曲线。基于10M到500M的模型在10B数据上训练的性能，预测出最后3B模型在500B数据上的性能。

695b61273fc766aa7a6bb85d4dd3bb24.png

Scaling Law实操: 计算效率最优

根据幂律定律，模型的参数固定，无限堆数据并不能无限提升模型的性能，模型最终性能会慢慢趋向一个固定的值。

f07f00d476f58fffad15011f432c40e3.png

如图所示，如果模型的参数量为（图中紫色的线），在数量达到，模型基本收敛。所以在数据量达到后，继续增加数据产生的计算量，没有同样计算量下提升模型参数量带来的收益大（「计算效率更优」）。根据，可以进一步转换成模型参数与计算量的关系，即: 模型参数为，在计算量为 Flops，即 PF-days时基本收敛。也就是右图中紫色线的拐点。

按照上面的思路，下面进行Scaling Law的实操

首先准备充足的数据（例如1T），设计不同模型参数量的小模型(例如0.001B - 1B)，独立训练每个模型，每个模型都训练到基本收敛（假设数据量充足）。根据训练中不同模型的参数和数据量的组合，收集计算量与模型性能的关系。然后可以进一步获得「计算效率最优」时，即同样计算量下性能最好的模型规模和数据大小的组合，模型大小与计算量的关系，以及数据大小与计算量的关系。

e5ab05150660b6440ece71881f4f241f.png

如图所示，根据左图可以看到计算量与模型性能呈现幂律关系（可以认为数据和模型都不受限制），根据中图和右图，可以发现，即计算效率最优时，模型的参数与计算量的幂次成线性关系，数据量的大小也与计算量的幂次成线性关系。

根据，可以推算出，但是分别是多少存在分歧。

OpenAI[1]认为模型规模更重要，即，而DeepMind在Chinchilla工作[2]和Google在PaLM工作[3]中都验证了，即模型和数据同等重要。

所以假定计算量整体放大10倍，OpenAI认为模型参数更重要，模型应放大 (5.32)倍，数据放大 (1.86)倍；后来DeepMind和Google认为模型参数量与数据同等重要，两者都应该分别放大 (3.16)倍。

465a0598958c0b9c3473bc81d8dafa9d.png

例如在PaLM的实验中，计算量从放大10倍到， 模型参数提升了3.2倍，3.35B->10.7B。

具体最好在自己的数据上做实验来获得你场景下的和。

LLaMA: 反Scaling Law的大模型

假设我们遵循「计算效率最优」来研发LLM，那么根据Scaling Law，给定模型大小，可以推算出最优的计算量，进一步根据最优计算量就能推算出需要的token数量，然后训练就行。

但是「计算效率最优」这个观点是针对「训练阶段」而言的，并不是「推理阶段」。

Meta在LLaMA[8]的观点是：给定一个模型的目标性能，并不需要用最优的计算效率在「最快」时间训练好模型，而应该在更大规模的数据上，训练一个相对「更小」模型，这样的模型在推理阶段的成本更低，尽管训练阶段的效率不是最优的（同样的算力其实能获得更优的模型，但是模型尺寸也会更大）。所以尽管根据Scaling Law，10B模型只需要200B的数据，但是作者发现7B的模型性能在1T的数据后还能继续提升。

9ac2a2e9aa0bcea04690817c03cff3ff.png

所以LLaMA工作的重点是训练一系列语言模型，通过使用更多的数据，让模型在「有限推理资源下有最佳的性能」。

具体而言，确定模型尺寸后，Scaling Law给到的只是最优的数据供给，或者说是一个「至少」的数据量，实际上观察在各个指标上的性能表现，只要还在继续增长，就可以持续增加训练数据。

78063af2e4b9e8b5a1b419d9a5b53b73.png

计算量、模型和数据大小的关系推导

对于Decoder-only的模型，计算量(Flops), 模型参数量(除去Embedding部分), 数据大小(token数), 三者的关系为:

推导如下，记模型的结构为:

  • decoder层数:

  • attention 隐层维度:

  • attention feedforward层维度: ， 一般来说

首先推导模型的参数量（忽略embedding，norm和bias）计算如下:

transformer每层包括: self-attetion 和 MLP 两个部分:

  • self-attention的参数为，每个矩阵的维度均为，整体参数量:

  • MLP的层数的参数为，整体参数量:

所以每层的参数量为: ，全部的层的参数量为: ，即

继续推导模型的前向推理的计算量:

计算量的单位是FLOPs，floating point operations, 对于矩阵，相乘的计算量为，一次加法一次乘法。

假设Decoder层的输入, 为batch size，为序列长度, 为模型维度。

  • self-attention部分的计算:

    • 输入线性层: ，计算量为:

    • atention计算: ，计算量为:

    • socre与V的计算: ，计算量为:

    • 输出线性层: ，计算量为:

  • MLP部分的计算

    • 升维: ，计算量为:

    • 降维: ，计算量为:

所以整个decoder层的计算量为:，全部层为:

反向传播计算量是正向的2倍，所以全部的计算量为:

平均每个token的计算量为 ()

所以对于全部包含个token的数据集:

参考资料

  • [1] Scaling Laws for Neural Language Models: https://arxiv.org/abs/2001.08361

  • [2] Training Compute-Optimal Large Language Models: https://arxiv.org/abs/2203.15556

  • [3] PaLM: https://arxiv.org/abs/2305.10403

  • [4] Scaling Laws for Autoregressive Generative Modeling: https://arxiv.org/abs/2010.14701

  • [5] GPT-4: https://arxiv.org/abs/2303.08774

  • [6] Baichuan 2: https://arxiv.org/abs/2309.10305

  • [7] MindLLM: https://arxiv.org/abs/2310.15777

  • [8] LLaMA: https://arxiv.org/abs/2302.13971

  • [9] 人工智能中的算力单位Petaflop/s-day: https://zhuanlan.zhihu.com/p/106406433

  • [10] https://www.zhihu.com/question/629230332/answer/3278779348

  • [11] 介绍一些Scaling Laws: https://zhuanlan.zhihu.com/p/631357320

  • [12]  分析transformer模型的参数量、计算量、中间激活、KV cache: https://zhuanlan.zhihu.com/p/624740065

ea0cba467dfef55f43e60f67e179104f.png

备注：昵称-学校/公司-方向/会议(eg.ACL)，进入技术/投稿群

7a28ebc25f5298514859d08e55a1be37.png

id：DLNLPer，记得备注呦

c24e9bfa99d2081ef867ff0aef7df366.png

zenRRan
关注
『大模型笔记』大模型中的Scaling Law(规模法则)
AI新视界
03-07 3714
大模型中的Scaling Law(规模理论)
大模型中Transformer 模型的基础演算《Scaling Laws for Neural Language Models》
强化学习曾小健
09-21 860
EleutherAI 的工程师们经常使用上述启发式方法规划高效的模型训练以及调试分布式运行。我们希望澄清这些经常被忽视的实现细节。其他人都在看。
Scaling Laws（缩放法则）详解
最新发布
金石软件
03-03 1125
（缩放法则）描述的是。
【人工智能】为什么说大语言模型能力遵循规模理论 Scaling Law（即模型能力随着训练计算量增加而提升） ？
热门推荐
AI天才研究院
04-20 1万+
GPU 是当前 AI 训练的主要算力来源，IDC 估计当前有 90% 的 AI 服务器采用 GPU， 而 Nvidia 和 AMD 在 GPU 的市占率分别高达 80% 和 20%。ASIC 能够获得剩下的 10% 的市场，并随着技术成熟可能达到 20% ，主要可以分为保守路线和激进路线：云计算厂商（比如谷歌和 AWS）通常采用保守路线，将 GPU 中有的图像和高精度(FP64 通常占芯片面积的 10-20%，但训练和推理并不需要高精度)计算单元砍掉，在相同成本下塞入更多的中低精度计算单元；
Scaling Law：大模型背后的神秘“成长法则”
m0_56255097的博客
01-22 3458
ScalingLaw，也称为缩放定律或规模定律，是描述模型性能如何随着模型规模（如参数数量）、训练数据集大小以及用于训练的计算资源增加而提升的一组经验法则。它在人工智能领域，尤其是大模型的开发中，扮演着至关重要的角色。ScalingLaw的起源可以追溯到2017年百度硅谷人工智能实验室的研究。当时，百度的研究团队在论文《深度学习缩放可预测性的实证研究》中，首次系统地探讨了模型性能与规模之间的关系，发现模型的泛化误差与模型大小和数据集大小之间存在幂律关系。这一发现为后续的大模型研究奠定了基础。
大语言模型中的第一性原理：Scaling laws
qq_32907491的博客
05-04 1万+
尺度定律（Scaling laws）是一种描述系统随着规模的变化而发生的规律性变化的数学表达。这些规律通常表现为一些可测量的特征随着系统大小的增加而呈现出一种固定的比例关系。尺度定律在不同学科领域中都有广泛的应用，包括物理学、生物学、经济学等。有趣的是，OpenAI的研究者在2020年发现，大语言模型也遵循着尺度定律[1]。大语言模型的尺度定律描述的是模型的性能 𝐿 ，模型的参数量大小 𝑁 ，训练模型的数据大小 𝐷 以及训练模型使用的计算量 𝐶 之间的关系。
大模型 Scaling Law 的本质是工业化思维，Token 工厂，Token 生意
叶庭云 成为自己的光
06-19 1279
大模型 Scaling Law 的本质是工业化思维，Token 工厂，Token 生意
什么是大模型的Scaling Raw？
学习与分享人工智能技术
12-23 1247
本文介绍了大模型Scaling Law的概念及其核心要点。
三维度解析Scaling Law：预训练、后训练与测试时间资源调配
百态老人的博客
01-09 678
Scaling Law分为三个类型：预训练的ScalingLaw，通过算力、数据和模型参数实现大规模大型语言模型的拓展；后训练阶段，如人类反馈强化学习、AIO1等可提升模型性能，也符合Scaling Law；提出新的测试时间（test timeschedule），即在模型训练好后，通过在不同芯片间调配资源，找最优路径实现资源调配，从而提升模型性能。Scaling Law（缩放定律）在人工智能领域，尤其是大型语言模型（LLM）的训练和推理过程中，被广泛研究和应用。
【自然语言处理】【Scaling Law】语言模型物理学 第3.3部分：知识容量Scaling Laws
bqw的博客
05-30 1619
​ Scaling laws描述了模型尺寸与其能力的关系。不同于先前通过loss或者基准来评估模型能力，本文评估模型存储的知识数量。这里主要是关注以元组方式表示的知识，例如(USA, capital, Washington D.C)。通过多个受控数据集，发现每个参数仅能存储2 bit的知识，即使参数量化为8bit也有相同结论。因此，7B模型能够存储14B bit的指数，超过了英文Wikipedia和教科书的总和。
Inference scaling law 在数学和编程任务中的效果
AI天才研究院
02-21 145
本研究的主要目的是全面评估Inference scaling law在数学和编程任务中的效果。在当今的人工智能和计算机科学领域，处理数学和编程问题是非常重要的任务。Inference scaling law作为一种新兴的技术手段，其在这些任务中的表现值得深入探究。我们的研究范围涵盖了从理论原理的分析到实际代码案例的验证，旨在为相关领域的研究者和开发者提供有价值的参考。本文将按照以下结构进行阐述：首先介绍背景知识，让读者对研究的目的和范围有清晰的认识；
什么是大模型中的Scaling Law
Hello World
11-17 703
大模型中的Scaling Law（规模定律或缩放定律）是一种描述模型性能如何随着模型大小（如参数数量）、数据集大小和计算资源的增加而变化的理论工具。通过数学推导和实验验证，研究者得出了一些关于大模型性能与规模之间关系的定量规律，为大模型的设计和训练提供了理论指导。这意味着，随着模型大小、数据集大小和用于训练的计算量的增加，语言建模性能得到了提升。总的来说，Scaling Law是理解和预测大模型性能表现的重要工具，它帮助研究者在模型设计和训练中做出更合理的决策。
大模型屠龙刀：揭开OpenAI Scaling Laws面纱
Paper weekly
04-05 1043
“Scaling laws are decided by god;The constants are determined by members of the technical staff”— Sam Altman《倚天屠龙记》中有一传说：“武林至尊，宝刀屠龙，号令天下，莫敢不从” ，为了得到屠龙刀江湖血雨腥风。但最后张无忌方知，所谓“武林至尊”，不在宝刀本身，而在刀中所藏的武穆遗书，以此兵法...
探讨大模型未来：从Scaling Law到数据红利再到终极Token工厂
allwefantasy的专栏
06-03 4277
这篇文章主要来自于上周和一个朋友三小时的聊天中非AI辅助编程的内容的一个回顾。本文主要内容包含三部分：工业化的Scaling Law：超越参数与数据数据红利：合成数据的潜力终极目标：Token工厂与Token GDPScaling Law 本质是工业化思维不过我觉得很多人对Scaling Law 还缺乏理解，单纯的还是在想“效果和参数规模等比上升”，现在应该遇到瓶颈是在数据。但实际上这么思考是不够...
大模型模型大小与推理性能的关系-scale law
weixin_40777649的博客
05-20 1460
2.5 baichuan2 报告中，使用loss与flops的关系、模型参数量与flops的关系，预测大模型的性能loss、与数据量。3.2 假设输入X=(Batch,seq_len,hidden),Batch=b, seq_len=s,hidden=d, 求计算量？如： 根据参数量与flops 的关系，获取flops 的大小，再根据scale law,C=6ND, 获取训练tokens.根据scale law 定律，C=6ND, N~C^a, D~C^b， a+b=1。MLP 层 W1=R^d。
『大模型笔记』缩放定律(scaling laws)是由记忆而非智力解释的吗？
AI新视界
06-14 684
我们可能高估了人类的样本效率，他们也需要通过训练来掌握这些推理路径。你不能只看一个例子，然后就掌握了程序。你必须通过大量的预训练数据进行训练。这些模型也必须通过大量的预训练数据进行训练。为了进行即时程序合成，你需要构建块。因此，知识和记忆在这个过程中非常重要。为了进行有效的推理，你需要记忆。
Scaling Laws 又失灵了？谷歌新研究：扩散模型不是越大越好
强化学习曾小健
04-08 985
我们的结果表明，扩展视频生成模型是构建物理世界通用模拟器的一条有前途的途径。作者设计了11个文本生成图像的LDM，其参数量从3900万到50亿不等，如下图所示，第一行是模型参数量，第二行是其中Unet模型的第一层宽度，第三和四行分别是模型的GFLOPS（运行一次前向传播和反向传播所需的计算量）和花费（相对于原始866M模型的花费，即假设866M模型的花费为1.00）你会发现，同一行的颜色基本是一致的，这说明不同体积的模型受CFG的影响是基本一致的，下面给出了一个定性的示例，从左到右的CFG逐渐提高。
大模型中幂律缩放法则和涌现能力
Z_CH8648的博客
12-03 1514
幂律缩放法则揭示了模型性能随着规模增长的可预测性，让开发人员可以从一系列较小模型的效果和参数中拟合出幂律增长曲线，从而预测出更大规模模型的性能。例如，GPT-4的训练报告显示，在最终版的GPT-4开始训练之前，OpenAI的开发人员就根据较小规模模型的性能拟合出了幂律缩放的曲线，并预测出GPT-4最终的性能。涌现能力使得在大模型中可以观察到小模型中完全观察不到的能力。虽然最近的一些观点认为涌现能力与评价指标有关，离散化的评价指标更容易观察到涌现现象，但不可否认的是，推理等涌现能力的确是大模型特有的产物。
大家都谈的Scaling Law是什么?
深数研究院
09-06 7522
一个农场里有一群火鸡，农场主每天中午十一点来给它们喂食。火鸡中的一名科学家观察到这个现象，一直观察了近一年都没有例外，于是它也发现了自己宇宙中的伟大定律：“每天上午十一点，就有食物降临。”它在感恩节早晨向火鸡们公布了这个定律，但这天上午十一点食物没有降临，农场主进来把它们都捉去杀了。
大模型 scaling law
02-05
### 大型模型缩放定律 #### 数学表示 大型模型缩放定律描述了模型性能随参数数量、训练数据量以及计算资源增加而变化的关系。研究表明，在一定范围内，随着这些变量的增长，模型的表现会持续提升[^4]。 对于Transformer架构而言，当扩大模型规模时，可以观察到损失函数值逐渐减小的趋势。具体来说，如果设\( L \)为验证集上的平均负对数似然度，则存在如下关系： \[ L(N, D, C) ≈ k_1 N^{-\alpha} + k_2 D^{-\beta} + k_3 C^{-\gamma}, \] 其中 \( N \), \( D \), 和 \( C \) 分别代表参数数目、样本大小和浮点运算次数；\( α \), \( β \), 及 \( γ \) 是经验常数；\( k_i \)(i=1,2,3) 表示其他影响因子。 ```python import numpy as np from matplotlib import pyplot as plt def loss_function(n_params, n_samples, flops): alpha, beta, gamma = 0.5, 0.3, 0.7 # 假定的经验指数 k1, k2, k3 = 1., .5, .8 # 影响系数 return k1 * pow(n_params, -alpha) + \ k2 * pow(n_samples, -beta) + \ k3 * pow(flops, -gamma) n_params_range = np.logspace(1e6, 1e9, num=50) losses = [loss_function(p, 1e7, 1e18) for p in n_params_range] plt.plot(np.log10(n_params_range), losses) plt.xlabel('Log Parameter Count') plt.ylabel('Loss Value') plt.title('Effect of Increasing Parameters on Loss Function') plt.show() ``` 此图展示了通过增大参数数量如何降低损失函数的理论趋势。 #### 实际应用 在实践中，遵循缩放法则可以帮助研究人员预测更大规模网络的效果，并据此规划硬件需求和技术路线。例如，在视觉领域的大规模预训练任务中，通过合理配置GPU集群并适当调整超参设置，能够有效提高最终成果的质量[^1]。 此外，理解缩放规律也有助于优化小型化部署方案的设计思路——即如何选取合适的子网结构以保持较高精度的同时减少资源消耗。 #### 最新进展 最新的研究不仅关注单维度扩展的影响，还探索多维联合增长模式下的最优路径。比如，有学者发现同步增加宽度（隐藏层单元数）、深度（层数）与批量尺寸可以在不显著牺牲效率的前提下获得更好的泛化能力。与此同时，“解释调整”技术也被引入进来作为改进策略之一，旨在使小型模型更好地模拟大型模型的行为特征而非仅仅复制其输出结果[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值