大模型模型大小与推理性能的关系-scale law

最新推荐文章于 2025-03-06 10:14:01 发布
最新推荐文章于 2025-03-06 10:14:01 发布
阅读量1.4k 收藏 18
点赞数 12
分类专栏： AI 文章标签： 人工智能 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40777649/article/details/139060145
版权

一、目录

  1. 不同大小的模型，参数应该如何确定？
  2. scale law 预训练解析
  3. 模型参数、计算量、数据量大小的关系。

二、实现

  1. 不同大小的模型，参数应该如何确定？
    1. gpt3 不同大小模型参数：在这里插入图片描述
  2. llama 系列 参数统计(根据版本不同，算法会发生改变，参数估算量不同，但隐藏层、层数、注意力头数等超参数相同)在这里插入图片描述
  3. baichuan系列：在这里插入图片描述
  4. qwen系列在这里插入图片描述5. chatglm 系列在这里插入图片描述
  5. scale law 预训练解析
    以baichuan2 为例：
    2.1 Log Flops： 什么意思&#x
最低0.47元/天 解锁文章
『大模型笔记』大模型中的Scaling Law(规模法则)
AI新视界
03-07 3707
大模型中的Scaling Law(规模理论)
【人工智能】为什么说大语言模型能力遵循规模理论 Scaling Law（即模型能力随着训练计算量增加而提升） ？
热门推荐
AI天才研究院
04-20 1万+
GPU 是当前 AI 训练的主要算力来源，IDC 估计当前有 90% 的 AI 服务器采用 GPU， 而 Nvidia 和 AMD 在 GPU 的市占率分别高达 80% 和 20%。ASIC 能够获得剩下的 10% 的市场，并随着技术成熟可能达到 20% ，主要可以分为保守路线和激进路线：云计算厂商（比如谷歌和 AWS）通常采用保守路线，将 GPU 中有的图像和高精度(FP64 通常占芯片面积的 10-20%，但训练和推理并不需要高精度)计算单元砍掉，在相同成本下塞入更多的中低精度计算单元；
【面向小白】深究模型大小和推理速度的关系！
努力努力再努力的小马
09-18 2478
当年头一次实习做算法的时候，主管给的第一个任务就是“把一个大的分割模型砍成一个小的”。当时并不理解模型“大”、“小”的真正含义，就简单的选取计算量作为评价指标，疯狂砍计算量（backbone 换 MobileNet/ShuffleNet、Conv 换成 DepthWise Conv、以及一些奇奇怪怪的融合结构等等），把模型计算量砍了将近 10 倍，结果一部署发现速度并没有快多少，反而是把最初的 ResNet 简单砍掉几个 block 效果更好。
推导一下C=6ND
最新发布
u012374012的专栏
03-06 430
Scaling Laws的核心概念是：随着模型规模、数据集规模和训练所需的计算量（浮点运算数，Flops）的增加，模型的性能会提升。为了获得最佳的模型表现，必须同时增加这三者。当其他因素不受限制时，模型性能与每个单独的因素之间存在幂律关系。为了训练一个模型并期望得到较低的损失，我们通过Scaling Law来计算所需的计算量C，达到该计算量后，再定义模型参数，从而推算出所需的训练数据量。假设模型的参数如下：总结：通过上述推导，我们得出大模型中，计算量C、模型参数N和数据量D之间的关系为C = 6ND。
解析大模型中的Scaling Law
zenRRan的博客
11-21 1万+
写在前面来自：NLP工作站nice！这是一个快速了解LLM时代下最新研究的学术分享平台今天给大家带来一篇《解析大模型中的Scaling Law》，来自知乎@nghuyong知乎：https://zhuanlan.zhihu.com/p/667489780在大模型的研发中，通常会有下面一些需求：计划训练一个10B的模型，想知道至少需要多大的数据？收集到了1T的数据，想知道能训练一个多大的模型？老板准...
DeepMind: 训练LLM的scale law
weixin_40779727的博客
11-15 378
为了探究计算资源（FLOPs）、模型大小（model size）、训练数据规模（training tokens）的关系。作者通过400个不同大小语言模型在5B-50B数据训练不同的时长，来探究LLM的scale law。作者固定FLOPs为：6e18，1e19， 3e19，6e19，1e20，3e20，6e20，1e21，3e21。因为在作者的实验中训练的token数少于实际的语料数，此时平滑的训练误差是测试误差的无偏估计。作者对每一种大小的模型进行了4种不同数量的训练序列的训练。: 最后的训练loss。
大模型推理性能优化
小白菜的博客
09-20 779
KV 缓存的总大小（以字节为单位）= （batch_size） * （sequence_length） * 2 * （num_layers） * （hidden_size） * sizeof（FP16）对最大长度是 4096 的 LLaMa2-7B fp16 模型，服务端每创建 1 个并发，都需要大约 2GB 显存保存 kv_cache，即便是 A100 80G，能并发服务的用户也非常有限。次的预测数据送入模型，拿到第 i+1 次的推理token。的增加，KV-Cache 的大小。----降低带宽使用率。
什么是大模型的Scaling Raw？
学习与分享人工智能技术
12-23 1244
本文介绍了大模型Scaling Law的概念及其核心要点。
LLM - 理解 多模态大语言模型(MLLM) 的 架构(Architecture) 与相关技术 (二)
AGI
09-09 1414
多模态大语言模型 (Multimodal Large Language Models, MLLM) 框架包括 3 个部分：预训练的模态编码器、预训练的 大语言模型(LLM)、连接模态的 接口(Interface)，也可以添加可选的 生成器(Generator) 到 LLM，用于生成除了文本之外的其他模态。
LLM大模型中文开源数据集集锦（三）
素质云笔记
05-16 4739
头两篇在写【】和【然后笔者自己也测试了一把ChatGLM的P-Tuning V2在【】感觉。
LLM - 理解 主流大模型 LLM 都使用 Decoder Only 架构的原因 (总结8点)
AGI
08-05 1104
Decoder Only 模式泛化性更好的理论原因包括：训练难度更大、具有隐式的位置编码能力、上下文学习支持 Few-Shot、注意力矩阵是满秩的、参数更少推理更快、KV-Cache、支持 Pipeline Parallel、实验支持。LLM 主流都会使用 Decoder Only 架构，而 Encoder-Decoder、PrefixLM 等混合训练方式，相对较小模型更加合适。
scaling law入门
weixin_40777649的博客
04-29 1804
然后可以进一步获得计算效率最优时，即同样计算量下性能最好的模型规模和数据大小的组合，模型大小与计算量的关系，以及数据大小与计算量的关系。确定了模型的框架以及期望训练的参数后，我们可以在多个比期望参数小的模型上做预训练，并且统计多个实验结果，如GPT3的图所示：随着训练的进行（计算量 C），小的模型出现收敛，大的模型loss也迅速下降。从图3和图4分别得到了模型性能与计算量的关系、计算量与模型大小的关系、计算量与训练的tokens之间的关系。2. 通过压缩定律，以及小模型，预测大模型的性能。
大模型（LLM）的推理加速
qq_52053775的博客
05-02 9148
论文分析并总结了如何提高大型语言模型（LLM）在推断阶段的效率。文中指出，尽管LLM在多种任务中表现出色，但它们在资源有限的环境中的部署却面临着由于模型大小、注意力机制的复杂性和自回归解码过程所带来的计算和存储成本的挑战。文章通过建立一个包含数据层面、模型层面和系统层面优化的全面分类体系，探讨了当前文献中的不同优化策略，并进行了一系列比较实验，以提供定量见解。最后，文中还总结了现有知识并讨论了未来的研究方向。 Transformer由注意力机制和FFN层构成，自注意力机制带来大量的计算量，计算
模型推理性能优化
ZHANG8023ZHEN的博客
05-08 259
具体实现就是排序，把排在前面的存进权重，后面的不要了。然后对比裁剪前后的权重在同一数据集上的精度。判断裁剪是否过度。排序的准则并不限于l1范数，裁剪的比例也是人为调试。l1范数裁剪：比如说layer1，对所有通道的卷积核的l1范数进行排序，认为l1范数大的卷积核更重要，也就是对layer1的输出影响更大。排在后面的卷积核不太重要，也就是冗余的，可以裁去。
Scaling Laws 又失灵了？谷歌新研究：扩散模型不是越大越好
强化学习曾小健
04-08 985
我们的结果表明，扩展视频生成模型是构建物理世界通用模拟器的一条有前途的途径。作者设计了11个文本生成图像的LDM，其参数量从3900万到50亿不等，如下图所示，第一行是模型参数量，第二行是其中Unet模型的第一层宽度，第三和四行分别是模型的GFLOPS（运行一次前向传播和反向传播所需的计算量）和花费（相对于原始866M模型的花费，即假设866M模型的花费为1.00）你会发现，同一行的颜色基本是一致的，这说明不同体积的模型受CFG的影响是基本一致的，下面给出了一个定性的示例，从左到右的CFG逐渐提高。
搞懂推理大模型，看这篇就够了！
2401_85773741的博客
02-10 1462
如果你从事人工智能（或一般的机器学习）工作，你可能对模糊且备受争议的定义并不陌生。“推理模型”这一术语也不例外。最终，有人会在一篇论文中正式定义它，但很快又会在下一篇论文中被重新定义，如此循环。在本文中，我将“推理”定义为回答需要复杂、多步生成并包含中间步骤的问题的过程。例如，像“法国的首都是哪里？”这样的事实性问题并不涉及推理。相比之下，像“如果一列火车以每小时60英里的速度行驶3小时，它会行驶多远？”这样的问题则需要一些简单的推理。例如，它需要在得出答案之前认识到距离、速度和时间之间的关系。
大模型推理知识总结
IT深耕十余载，大道之简
06-28 548
定义：大模型推理是使用已训练好的大型深度学习模型对新的、未见过的数据进行预测或分类的过程。目标：快速、准确地产生预测结果，同时保持较低的资源消耗（如计算、内存和存储）。
大家都谈的Scaling Law是什么?
深数研究院
09-06 7503
一个农场里有一群火鸡，农场主每天中午十一点来给它们喂食。火鸡中的一名科学家观察到这个现象，一直观察了近一年都没有例外，于是它也发现了自己宇宙中的伟大定律：“每天上午十一点，就有食物降临。”它在感恩节早晨向火鸡们公布了这个定律，但这天上午十一点食物没有降临，农场主进来把它们都捉去杀了。
大模型中的Scaling Law计算方法
Kaiyuan_sjtu的博客
11-27 1252
作者|nghuyonghttps://zhuanlan.zhihu.com/p/667489780后台留言『交流』，加入 NewBee讨论组在大模型的研发中，通常会有下面一些需求：1.计划训练一个10B的模型，想知道至少需要多大的数据？2.收集到了1T的数据，想知道能训练一个多大的模型？3.老板准备1个月后开发布会，给的资源是100张A100，应该用多少数据训多大的模型效果最好？4.老板对现...
Pytorch模型量化提升推理效率与减少模型大小
Pytorch 模型量化是一种减少模型大小和加快推理速度的技术，特别适用于深度学习模型的部署。它通过减少模型中权重和激活的精度来实现，通常将32位浮点数（FP32）转换为较低位宽的格式，如8位整数（INT8）。这种转换...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值