大模型中的Scaling Law计算方法

最新推荐文章于 2024-09-21 04:30:40 发布
最新推荐文章于 2024-09-21 04:30:40 发布
阅读量678 收藏
点赞数
原文链接：https://mp.weixin.qq.com/s?__biz=MzI3ODgwODA2MA==&mid=2247524072&idx=3&sn=31af4e289405366e8a3b2077de0a1b01&chksm=eb538a7bdc24036de2455c892ae9de3c07d7d0cc9ddb40c7b34bc2f72bb630db30e06e45c145&scene=126&sessionid=0
版权

作者：nghuyong 

https://zhuanlan.zhihu.com/p/667489780

在大模型的研发中，通常会有下面一些需求：

1.计划训练一个10B的模型，想知道至少需要多大的数据？

2.收集到了1T的数据，想知道能训练一个多大的模型？

3.老板准备1个月后开发布会，给的资源是100张A100，应该用多少数据训多大的模型效果最好？

4.老板对现在10B的模型不满意，想知道扩大到100B模型的效果能提升到多少？

以上这些问题都可以基于Scaling Law的理论进行回答。本文是阅读了一系列 Scaling Law的文章后的整理和思考，包括Scaling Law的概念和推导以及反Scaling Law的场景，不当之处，欢迎指正。

核心结论

大模型的Scaling Law是OpenAI在2020年提出的概念[1]，具体如下:

  1. 对于Decoder-only的模型，计算量(Flops), 模型参数量, 数据大小(token数)，三者满足:。(推导见本文最后)

  2. 模型的最终性能主要与计算量，模型参数量和数据大小三者相关，而与模型的具体结构(层数/深度/宽度)基本无关。

ab68512626be1efbea65e34747ad60e5.png
固定模型的总参数量，调整层数/深度/宽度，不同模型的性能差距很小，大部分在2%以内

3. 对于计算量，模型参数量和数据大小，当不受其他两个因素制约时，模型性能与每个因素都呈现幂律关系

c443328a5d7c2766c9c35b60fcc8cafa.png

4. 为了提升模型性能，模型参数量和数据大小需要同步放大，但模型和数据分别放大的比例还存在争议。

5. Scaling Law不仅适用于语言模型，还适用于其他模态以及跨模态的任务[4]：

a2e68dfdf1b8e410b3e8f9409d5fa02d.png
这里横轴单位为PF-days: 如果每秒钟可进行 次运算，就是1 peta flops，那么一天的运算就是 这个算力消耗被称为1个petaflop/s-day。

核心公式 

(�)=�∞+(�0�)�

e3a6695ad39e7ec7b2c1e8810b6257ec.png

第一项是指无法通过增加模型规模来减少的损失，可以认为是数据自身的熵（例如数据中的噪音）

第二项是指能通过增加计算量来减少的损失，可以认为是模型拟合的分布与实际分布之间的差。根据公式，增大(例如计算量)，模型整体loss下降，模型性能提升；伴随趋向于无穷大，模型能拟合数据的真实分布，让第二项逼近0，整体趋向于

大模型中的scaling law

下图是GPT4报告[5]中的Scaling Law曲线，计算量和模型性能满足幂律关系

2d84f937cfd501ffce4d3bbcecf1828a.png

  • 横轴是归一化之后的计算量，假设GPT4的计算量为1。基于10,000倍小的计算规模，就能预测最终GPT4的性能。

  • 纵轴是"Bits for words", 这也是交叉熵的一个单位。在计算交叉熵时，如果使用以 2 为底的对数，交叉熵的单位就是 "bits per word"，与信息论中的比特（bit）概念相符。所以这个值越低，说明模型的性能越好。

Baichuan2

下图是Baichuan2[6]技术报告中的Scaling Law曲线。基于10M到3B的模型在1T数据上训练的性能，可预测出最后7B模型和13B模型在2.6T数据上的性能

fc7cd13477db88babeccb48bb93ea971.png

MindLLM

下图是MindLLM[7]技术报告中的Scaling Law曲线。基于10M到500M的模型在10B数据上训练的性能，预测出最后3B模型在500B数据上的性能。

ad1c8634bd45171c3a373300927d1e5a.png

Scaling Law实操: 计算效率最优

根据幂律定律，模型的参数固定，无限堆数据并不能无限提升模型的性能，模型最终性能会慢慢趋向一个固定的值

cdafabbce7c17cc3f32611d66a0fb530.png

如图所示，如果模型的参数量为（图中紫色的线），在数量达到，模型基本收敛。所以在数据量达到后，继续增加数据产生的计算量，没有同样计算量下提升模型参数量带来的收益大（计算效率更优）。根据，可以进一步转换成模型参数与计算量的关系，即: 模型参数为，在计算量为Flops，即PF-days时基本收敛。也就是右图中紫色线的拐点。

按照上面的思路，下面进行Scaling Law的实操。

首先准备充足的数据（例如1T），设计不同模型参数量的小模型(例如0.001B - 1B)，独立训练每个模型，每个模型都训练到基本收敛（假设数据量充足）。根据训练中不同模型的参数和数据量的组合，收集计算量与模型性能的关系。然后可以进一步获得计算效率最优时，即同样计算量下性能最好的模型规模和数据大小的组合，模型大小与计算量的关系，以及数据大小与计算量的关系。

e1466ddf69fa33b78048c3e70851e69b.png

如图所示，根据左图可以看到计算量与模型性能呈现幂律关系（可以认为数据和模型都不受限制），根据中图和右图，可以发现,，即计算效率最优时，模型的参数与计算量的幂次成线性关系，数据量的大小也与计算量的幂次成线性关系。

根据，可以推算出，但是,分别是多少存在分歧。

OpenAI[1]认为模型规模更重要，即，而DeepMind在Chinchilla工作[2]和Google在PaLM工作[3]中都验证了，即模型和数据同等重要。

所以假定计算量整体放大10倍，OpenAI认为模型参数更重要，模型应放大 100.73 (5.32)倍，数据放大 100.27 (1.86)倍；后来DeepMind和Google认为模型参数量与数据同等重要，两者都应该分别放大 100.5 (3.16)倍。

f20edcb74daab0d1514573a88cea6cf9.png

例如在PaLM的实验中，计算量从 放大10倍到， 模型参数也提升了3.2倍，3.35B->10.7B。具体最好在自己的数据上做实验来获得你场景下的和

LLaMA: 反Scaling Law的大模型

假设遵循计算效率最优来研发LLM，那么根据Scaling Law，给定模型大小，可以推算出最优的计算量，进一步根据最优计算量就能推算出需要的token数量，然后训练就行。

但是计算效率最优这个观点是针对训练阶段而言的，并不是推理阶段，实际应用中推理阶段效率更实用。

Meta在LLaMA[8]的观点是：给定模型的目标性能，并不需要用最优的计算效率在最快时间训练好模型，而应该在更大规模的数据上，训练一个相对更小模型，这样的模型在推理阶段的成本更低，尽管训练阶段的效率不是最优的（同样的算力其实能获得更优的模型，但是模型尺寸也会更大）。根据Scaling Law，10B模型只需要200B的数据，但是作者发现7B的模型性能在1T的数据后还能继续提升。

25536ee8fecf445f9a69013725f2e99b.png

所以LLaMA工作的重点是训练一系列语言模型，通过使用更多的数据，让模型在有限推理资源下有最佳的性能。

具体而言，确定模型尺寸后，Scaling Law给到的只是最优的数据量，或者说是一个至少的数据量，实际在训练中观察在各个指标上的性能表现，只要还在继续增长，就可以持续增加训练数据。

74c93c85ecf00d9177b8d61a07064377.png

计算量、模型和数据大小的关系推导

对于Decoder-only的模型，计算量(Flops), 模型参数量(除去Embedding部分), 数据大小(token数), 三者的关系为:

推导如下，记模型的结构为:

decoder层数:

attention 隐层维度:

attention feedforward层维度:， 一般来说首先推导模型的参数量（忽略embedding，norm和bias）计算如下:

transformer每层包括: self-attetion 和 MLP 两个部分:

self-attention的参数为， 每个矩阵的维度均为，整体参数量:

MLP的层数的参数为，，

整体参数量:

所以每层的参数量为:，全部的 层的参数量为:，即

继续推导模型的前向推理的计算量:

计算量的单位是FLOPs，floating point operations 对于矩阵,，相乘的计算量为，一次加法一次乘法。假设Decoder层的输入,为batch size，为序列长度,为模型维度。

self-attention部分的计算:

输入线性层:，计算量为:

atention计算:，计算量为:

socre与V的计算:，计算量为:

输出线性层:，计算量为:

MLP部分的计算

升维:，计算量为:

降维:，计算量为:

所以整个decoder层的计算量为:，全部层为:反向传播计算量是正向的2倍，所以全部的计算量为:

平均每个token的计算量为

所以对于全部包含个token的数据集: 

�=�������≈6��

参考资料

  • [1] Scaling Laws for Neural Language Models

  • [2] Training Compute-Optimal Large Language Models

  • [3] PaLM 2 Technical Report

  • [4] Scaling Laws for Autoregressive Generative Modeling

  • [5] GPT-4 Technical Report

  • [6] Baichuan 2: Open Large-scale Language Models

  • [7] MindLLM: Pre-training Lightweight Large Language Model from Scratch, Evaluations and Domain Applications

  • [8] LLaMA: Open and Efficient Foundation Language Models

  • [9] 人工智能中的算力单位Petaflop/s-day - 套牌神仙的文章 - 知乎

  • [10] 李开复带队零一万物发布开源大模型 Yi，如何解读？- 黄文灏的回答 - 知乎

  • [11] 介绍一些Scaling Laws - cingti的文章 - 知乎

  • [12] 分析transformer模型的参数量、计算量、中间激活、KV cache - 回旋托马斯x的文章 - 知乎

  • d51de0e24955b7e51de53c22ca462941.png

备注：昵称-学校/公司-方向/会议(eg.ACL)，进入技术/投稿群

88dc000538e33f277e79584938f81a5a.png

id：DLNLPer，记得备注呦

zenRRan
关注
『大模型笔记』大模型中的Scaling Law(规模法则)
AI新视界
03-07 2589
大模型中的Scaling Law(规模理论)
大语言模型原理基础与前沿 Scaling Law 规模法则（扩大尺度法则）
AI天才研究院
07-06 1037
近年来，大语言模型（Large Language Models，LLMs）在自然语言处理（Natural Language Processing，NLP）领域取得了突破性进展。从GPT（Generative Pre-trained Transformer）系列到BERT（Bidirectional Encoder Representations from Transformers），再到最近的ChatGPT，大语言模型不断刷新着我们对人工智能能力的认知。这些模型之所以能够在各种NLP任务中表现出色，很大程度
【有啥问啥】浅谈Scaling Law
Chauvin的博客
07-15 1568
在机器学习和深度学习领域，（扩展定律）描述了模型性能（如准确率、损失等）如何随着模型规模（参数数量）、数据量和计算资源（如计算时间、显存等）的变化而变化。这些定律有助于研究人员和工程师理解如何有效地扩展模型以获得更好的性能。在深度学习的早期阶段，人们主要通过经验和试验来确定模型规模和训练数据量。然而，随着模型和数据集的不断增大，这种试验的方法变得越来越昂贵和耗时。因此，理解和应用扩展定律变得越来越重要，它可以帮助我们预估模型性能，合理规划资源。扩展定律为我们提供了理解模型性能如何随规模变化的理论基础。
scaling law入门
weixin_40777649的博客
04-29 1269
然后可以进一步获得计算效率最优时，即同样计算量下性能最好的模型规模和数据大小的组合，模型大小与计算量的关系，以及数据大小与计算量的关系。确定了模型的框架以及期望训练的参数后，我们可以在多个比期望参数小的模型上做预训练，并且统计多个实验结果，如GPT3的图所示：随着训练的进行（计算量 C），小的模型出现收敛，大的模型loss也迅速下降。从图3和图4分别得到了模型性能与计算量的关系、计算量与模型大小的关系、计算量与训练的tokens之间的关系。2. 通过压缩定律，以及小模型，预测大模型的性能。
序列模型（4）—— Scaling Laws
佚失的诗篇
01-10 1899
本文介绍 LLM 训练过程中重要的经验规律 Scaling Laws，它可以指导我们如何最大化训练效率，我们还可以借助它通过小规模实验预测大模型的性能表现
Scaling Law解析
zzfive的博客
04-06 1844
幂律规律有失灵的情况，即大模型中的涌现，前期算力增加，模型性能是按上述分析的规律逐渐提高，但是当算力提高到一定程度后，模型性能会突然陡增，目前来话，幂律规律只在涌现发生前有效，当具体算力提升到多少会发生涌现，目前还不知道，只能通过实践后统计发现，但一定会发生涌现。固定住计算量，随着计算量的增大，对应的最优模型参数量也越来越大，对应的最优数据量也越来越大，在对数域看就是成线性关系。不同模型架构可能也符合幂律关系，如上图中的LSTMs，同样参数量时，transformers的性能比LSTMs更好。
CS324课程大模型中的Scaling Law(规模法则)课件
03-20
### CS324课程大模型中的Scaling Law(规模法则)详解 #### 一、规模法则概览 在当今的人工智能研究中，特别是在大规模语言模型（LLMs）领域，理解和应用规模法则（Scaling Laws）变得至关重要。根据CS324课程大模型...
LLaMA：挑战大模型Scaling Law的性能突破
击水三千里的专栏
06-23 267
Scaling Law为大模型训练提供了计算量、参数量和数据量之间的量化关系。LLaMA模型的出现，可能颠覆了这一定律，展现出在较低资源消耗下的高性能，为大模型的效率和性能平衡开辟了新路径
AI 大模型 Scaling Law 原理与应用
最新发布
AI天才研究院
09-21 1130
AI 大模型 Scaling Law 原理与应用 关键词： AI 大模型：大规模神经网络模型，通常拥有数百万到数十亿参数。 Scaling Law：描述模型性能随参数量增长而变化的
【人工智能】为什么说大语言模型能力遵循规模理论 Scaling Law（即模型能力随着训练计算量增加而提升） ？
热门推荐
AI天才研究院
04-20 1万+
GPU 是当前 AI 训练的主要算力来源，IDC 估计当前有 90% 的 AI 服务器采用 GPU， 而 Nvidia 和 AMD 在 GPU 的市占率分别高达 80% 和 20%。ASIC 能够获得剩下的 10% 的市场，并随着技术成熟可能达到 20% ，主要可以分为保守路线和激进路线：云计算厂商（比如谷歌和 AWS）通常采用保守路线，将 GPU 中有的图像和高精度(FP64 通常占芯片面积的 10-20%，但训练和推理并不需要高精度)计算单元砍掉，在相同成本下塞入更多的中低精度计算单元；
【论文阅读】Scaling Laws for Neural Language Models
qq_52852138的博客
07-13 4490
本文简要介绍的主要结论个人认为不需要特别关注公式内各种符号的具体数值，而更应该关注不同因素之间的关系，比例等。
文献阅读--Scaling Laws for Neural Lauguage Models
weixin_43481320的博客
06-12 2133
预印本2020 https://arxiv.org/pdf/2001.08361.pdf 做了什么： 从实验上调查，语言模型loss和众多因素的关系，这些因素包括：模型架构，网络模型的size，用来训练的算力，可以用来train模型的有效的数据量。语言任务的high ceiling 和 low floor 导致可以有七个orders of magnitude in scale。 结论的一个总结： 模型的performance strongly depends on scale ( para-data-co
大语言模型中的第一性原理：Scaling laws
qq_32907491的博客
05-04 6927
尺度定律（Scaling laws）是一种描述系统随着规模的变化而发生的规律性变化的数学表达。这些规律通常表现为一些可测量的特征随着系统大小的增加而呈现出一种固定的比例关系。尺度定律在不同学科领域中都有广泛的应用，包括物理学、生物学、经济学等。有趣的是，OpenAI的研究者在2020年发现，大语言模型也遵循着尺度定律[1]。大语言模型的尺度定律描述的是模型的性能 𝐿 ，模型的参数量大小 𝑁 ，训练模型的数据大小 𝐷 以及训练模型使用的计算量 𝐶 之间的关系。
小周带你读论文之语言模型的进阶Scaling Laws 幂律，（参数/数据量/算力的最优解）
周博洋的博客
02-13 902
我们又能发现一个问题，从下到上看，算力每增加10倍，最优的Parameters提升3倍左右，那延伸一下，就是如果我们再提升10倍算力，下一个模型尺寸应该是30B是最优的（其实是33B，34B左右）这也就能看出来现在市面上的模型尺寸，没有一个是纯拍脑袋拍出来的。最后一个发现，在恒定的算力下比较，模型无限的提升参数，反而性能是下降的，因为C=6ND，N和D是成反比关系，如果模型参数增加过大，想最优，数据量反而要变少，变少，你表现力就不够，知识少，就是这样的一个简单的道理。
大家都谈的Scaling Law是什么?
深数研究院
09-06 1414
一个农场里有一群火鸡，农场主每天中午十一点来给它们喂食。火鸡中的一名科学家观察到这个现象，一直观察了近一年都没有例外，于是它也发现了自己宇宙中的伟大定律：“每天上午十一点，就有食物降临。”它在感恩节早晨向火鸡们公布了这个定律，但这天上午十一点食物没有降临，农场主进来把它们都捉去杀了。
LLM漫谈（六）| 复旦MOSS提出数据配比scaling law
wshzd的博客
04-25 1483
虽然数据混合定律使我们能够在未见过的混合数据上预测训练模型的性能，但满足该定律的要求涉及跨不同混合物训练多个模型，并且模型大小和tokens计数与目标模型相同。此外，我们必须对每个目标模型大小和训练数据集重复此过程（一个想法是将使用少量标记训练的小型模型上的优化训练混合物转移到大型模型和大量训练数据的训练上。对于所有模型，将批量大小设置为 1M 令牌，从而转化为 1B 模型的 100k 步和小模型的 30k 步，并应用余弦学习率衰减，并进行 2k 步的预热，在第 100k 步时衰减到最大学习率的 0.1。
OpenAI与DeepMind的Scaling Laws之争
2401_82452722的博客
01-05 1556
大模型的参数量和训练数据量到底哪个更重要？
大模型：相关参数总结
玉汝于成
01-24 959
大模型相关参数总结
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值