LLM训练：MFU计算方法

最新推荐文章于 2025-01-07 11:31:48 发布
最新推荐文章于 2025-01-07 11:31:48 发布
阅读量9.2k 收藏 39
点赞数 10
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40859560/article/details/139130649
版权
本文探讨MFU（Model FLOPs Utilization），用于评估GPU在大模型训练中的算力利用率。MFU计算涉及到模型前向反向计算的FLOPs与GPU峰值算力的比值。文章详细介绍了MFU的计算方法，包括注意力机制和MLP的FLOPs计算，并在理想情况下进行了简化估算。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、引言

        在进行大模型训练时，我们需要关注GPU资源的利用率，特别是GPU算力利用率通常可以作为大模型训练框架的性能指标，也直接影响训练大模型的成本。我们看到大家普遍使用 MFU（Model FLOPS Utilization）这个指标来评估GPU算力利用率[1]。本文主要介绍MFU的计算方法。

二、MFU的计算方法

1、mfu与hfu的概念

模型算力利用率（Model FLOPs Utilization， MFU）和硬件算力利用率（Hardware FLOPs Utilization， HFU）是评估某一模型实现对芯片计算性能利用情况的常用指标。

  • 模型算力利用率是指_模型一次前反向计算消耗的矩阵算力与机器算力的比值_
  • 硬件算力利用率是指_考虑重计算后，模型一次前反向计算消耗的矩阵算力与机器算力的比值_

数学公式：MFU = model FLOPs per iteration/（GPU单卡算力*卡数*一次迭代时间）

通用transformer模型一次前反向算力计算公式如下，model FLOPs per iteration： 

所以通用的transformers模型 mfu 用公式表达如下:

最低0.47元/天 解锁文章
Compare-Paging-Algorithms:模拟不同的分页算法（计算机中处理虚拟内存“页面”的方法），包括 FIFO、LRU、MFU 和 LFU
07-07
分页算法比较 跳至，或阅读项目的 。 这是关于内核（“操作系统”，COMS221）的大学课程的最终项目，目的是提高分页算法的效率。 在看到其他组成员的尝试后，我决定最灵活和最强大的解决方案（并且通过扩展，最好的，因为速度在这里无关紧要）实现这一点的方法是遵循面向对象的哲学。 我首先创建了一个“页面”类并创建了操作页面的方法。 那天晚上，我最终从头开始重写了整个项目： “页面”是一个具有 contentBit、referenceBit、touchCount 和每个算法可能需要的任何其他属性的类。 因此，一个进程是一个页面数组——事实上，所有进程（“硬盘”）一起是一个页面的二维数组。 从 Page[][] 数组中，元素被添加到 Java 集合中。 我为这部分自学了集合，因为虽然页面不会在现实生活中的 RAM 中重新排序，但我们可以以编程方式做任何方便的事情，因为结果是相同的。 在我的实现
经典逻辑题--谁最富
借雨醉东风的博客
06-16 408
推荐专栏《10天学会使用asp.net编程AI大模型》，目前已完成所有内容。
MFU概念解释
weixin_43574730的博客
11-17 7364
MFU
MFU简介
weixin_50518899的博客
09-30 2376
在光刻机中，光源（紫外光、极紫外光）透过mask曝光在晶圆上形成图形。在同一尺寸的晶圆上，曝光的次数跟mask尺寸成反比，mask尺寸越小，曝光次数越多，成本越高，所以应该尽可能将mask尺寸做到最大。那如何将mask做大呢？那这就需要引入MFU的概念。
计算DeepSeekV3训练的MFU
最新发布
AIBigModel的博客
01-07 900
作者：方佳瑞，清华大学计算机科学技术博士，腾讯专家工程师原文：https://zhuanlan.zhihu.com/p/16445683081本文利用公开信息推导得到DeepSeekV3训练时候的MFU为37%左右，相比V2的MFU提升大概60%，希望对后续技术讨论提供数据支撑。自2024年12月发布以来，DeepSeekV3在人工智能领域引发了广泛关注。该模型不仅被国内三大顶会公众号上连篇累牍报道，更在海外社交媒体平台X等渠道引发热议。
大模型学习
zhuikefeng的博客
01-08 3799
其中b是batch，s是序列长度，a是注意力头数，l是transformer层数，h指隐藏层维度。优化器状态占用的显存大小也是一样，与优化器类型有关，与模型参数量有关，但与输入数据的大小无关。计算量和参数量的关系，近似认为，在一次前向传递中，对于每个token，每个模型参数，需要进行2次浮点数运算，即一次乘法法运算和一次加法运算。，b是batch，l是transformer层数，h指隐藏层维度，s是输入序列长度，n是输出序列长度，4=2*2，k和v的cache，每个cache fp16存储，占用2B。
论文详解：字节万卡集群训练大模型，算力利用率达55.2%
m0_58966968的博客
04-11 4768
论文：万卡集群训练大模型（by字节跳动） 我们介绍了MegaScale的设计、实现和工程经验，这是一个用于训练大语言模型（LLMs）的生产系统，其规模超过10,000个GPU。在这个规模上训练LLMs带来了前所未有的训练效率和稳定性挑战。我们采取全栈方法，共同设计算法和系统组件，涵盖模型块和优化器设计、计算与通信重叠、操作符优化、数据管道和网络性能调优。在生产中，保持整个训练过程的高效率（即稳定性）是一个重要考虑因素，因为LLM训练作业的持续时间很长。许多严重的稳定性问题只在大规模时才显现出来，
LFU算法
m0_46388866的博客
02-14 1271
LFU算法 （向labuladong老师学习的LFU） LFU算法是什么？有什么作用？ LFU算法其实就是按照程序使用的次数频率来进行淘汰的算法，使用频率少就会被删除。它在程序过多的情况下，是一种很好的处理策略。 那么LFU算法是如何实现的？ LFU算法是比较复杂的，因为数据结构偏多，需要处理不只是一个数据结构，而是多个，所以容易忽略和写错。最好的办法就是从大看小，先把方法写出来，画出图，然后整理大逻辑，最后再落脚在小的细节上面。现在来从大体来说说它是如何实现的。 freq：就是使用程序多少次的意思 ①第一
大模型国产化适配11-LLM训练性能基准测试（昇腾910B3）
强化学习曾小健
07-17 1966
训练性能在本文指机器（GPU、NPU或其他平台）在指定模型和输入数据的背景下，完成一次端到端训练所需要花费的时间，考虑到不同模型的训练数据量和训练轮次（epoch）差异，此处定义的性能是在完成一个batch训练所需花费的时间。而端到端通常是指完成一个AI模型单步训练的过程。也就是说，本文所讨论的性能的衡量和性能的优化，都是站在模型角度上。单batch总时间 = 数据加载时间 +模型前反向时间 + 优化器时间 + 模型后处理时间+ 通信时间 + 调度时间数据加载时间。
LLM时代的transformer参数量、计算量、激活值的分析
weixin_44343319的博客
09-10 1210
transformer的参数量的复杂度是Oh2lO(h^2l)Oh2l级别的，粗略估计可以认为是12h2l12h^2l12h2l或者4h3Ihl(4h+3I)hl4h3Ihl如果MLP是传统FFN那样的结构，calculated params=2Vh12h213hl2Vh12h213hl如果attention部分使用了GQA，则calculated params=2Vh10h211h2gah2。
LLM-2022：PaLM【参数量：5400亿（540B）；训练集token数量：780B】【①SwiGLU激活函数、②RoPE/旋转位置编码】【基于Pathways的大语言模型】
u013250861的博客
12-30 1697
大型语言模型已被证明在各种自然语言任务中使用few-shot学习取得了显著的性能，这极大地减少了使模型适应特定应用所需的特定任务训练实例的数量。为了进一步了解规模对few-shot学习的影响，我们训练了一个5400亿参数、密集激活的Transformer语言模型，我们称之为Pathways语言模型（PaLM）。我们使用Pathways在6144个TPU v4芯片上训练PaLM，这是一个新的ML系统，能够在多个TPU Pods上进行高效的训练。
【tiny-universe】实现一个llm并使用tiny-stories数据集训练
Farah_Y的博客
09-23 699
基于llama手搓一个小小的llm
页面置换算法
热门推荐
Bit_Dong的博客
07-23 2万+
进程运行时，若其访问的页面不在内存而需将其调入，但内存已无空闲空间时，就需要从内存中调出一页程序或数据，送入磁盘的对换区，其中选择调出页面的算法就称为页面置换算法。好的页面置换算法应有较低的页面更换频率，也就是说，应将以后不会再访问或者以后较长时间内不会再访问的页面先调出在地址映射过程中，若在页面中发现所要访问的页面不在内存中，则产生缺页中断。当发生缺页中断时，如果操作系统内存中没有空闲页面，则操作系统必须在内存选择一个页面将其移出内存，以便为即将调入的页面让出空间。而用来选择淘汰哪一页的规则叫做。....
从头训练GPT2-124M过程中从wandb看到的参数含义
ybdesire的专栏
09-04 479
MFU（Model FLOPs Utilization）表示模型算力利用率...
华为&清华 | 在华为昇腾上优化生产级LLM服务，MFU性能直逼英伟达A800
m0_59164304的博客
12-31 1119
要满足生产级大型语言模型（LLM）服务系统对低延迟和低成本高效率日益增长的需求，需要集成先进的优化技术。然而，LLM 的输入输出长度动态且不可预测，再加上这些优化技术，加剧了工作负载的可变性，使得人工智能加速器，尤其是采用tile-based（基于分块）编程模型的 DSA，难以保持高效率。为了应对这一挑战，本文推出了 XY-Serve，这是一个多功能、昇腾（Ascend） 原生、端到端生产型 LLM 服务系统。
论文导读：万卡集群训练大模型（by字节跳动）
渡江客涂鸦板
03-05 8556
字节跳动提出了万卡集群大模型训练架构MegaScale，并在12288个GPU上训练一个175B LLM模型时，用MegaScale实现了55.2%的MFU，比Megatron-LM提高了1.34倍；提供了万卡集群训练大模型的踩坑经验；证实了强大完备的训练基础设施（包含各种各样的诊断工具、监测工具、可视化工具等）对高效、稳定训练LLM至关重要；
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值