LLM训练：MFU计算方法

最新推荐文章于 2024-06-29 23:10:29 发布
最新推荐文章于 2024-06-29 23:10:29 发布
阅读量2.1k 收藏 31
点赞数 10
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40859560/article/details/139130649
版权

一、引言

        在进行大模型训练时，我们需要关注GPU资源的利用率，特别是GPU算力利用率通常可以作为大模型训练框架的性能指标，也直接影响训练大模型的成本。我们看到大家普遍使用 MFU（Model FLOPS Utilization）这个指标来评估GPU算力利用率[1]。本文主要介绍MFU的计算方法。

二、MFU的计算方法

1、mfu与hfu的概念

模型算力利用率（Model FLOPs Utilization， MFU）和硬件算力利用率（Hardware FLOPs Utilization， HFU）是评估某一模型实现对芯片计算性能利用情况的常用指标。

  • 模型算力利用率是指_模型一次前反向计算消耗的矩阵算力与机器算力的比值_
  • 硬件算力利用率是指_考虑重计算后，模型一次前反向计算消耗的矩阵算力与机器算力的比值_

数学公式：MFU = model FLOPs per iteration/（GPU单卡算力*卡数*一次迭代时间）

通用transformer模型一次前反向算力计算公式如下，model FLOPs per iteration： 

所以通用的transformers模型 mfu 用公式表达如下:

最低0.47元/天 解锁文章
一条水里的鱼
关注
  • 10
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大模型训练：如何解决GPU万卡互联挑战？
04-10 782
大模型训练：如何解决GPU万卡互联挑战？
MFU概念解释
weixin_43574730的博客
11-17 5088
MFU
大模型全链路开源体系（学习笔记）
weixin_43681522的博客
04-21 1271
随着国内央企通用人工智能的兴起，为打造大模型生态应用，各类比赛也比较火热，近期看到了上海人工智能实验室在做的书生浦语大模型，繁忙的工作之余有些业余时间跟小伙伴一起学习、打比赛，是学习笔记，也是作业。2024年1月17日，InternLM 2 已经开源，面向不同的使用需求，每个规格包含三个版本。- 7B 适用轻量级的研究和应用。- 20B 可有效支持更加复杂的使用场景。--可塑性的模型基座。--在Base的基础上，在多个能力方向进行了强化，大部分应用中考虑适用的优秀基座。
使用10万张nvidia H100 GPU卡的OpenAI大模型GPT-4 计算集群有多难搭？
最新发布
qq_27815483的博客
06-29 75
在英伟达市值猛涨、各家科技巨头囤芯片的热潮中，我们往往会忽视GPU芯片是如何转变为数据中心算力的。最近，一篇SemiAnalysis的技术文章就深入解读了10万卡H100集群的构建过程。
AI大模型落地应用场景：LLM训练性能基准测试
m0_63171455的博客
06-18 1086
训练性能在本文指机器（GPU、NPU或其他平台）在指定模型和输入数据的背景下，完成一次端到端训练所需要花费的时间，考虑到不同模型的训练数据量和训练轮次（epoch）差异，此处定义的性能是在完成一个batch训练所需花费的时间。而端到端通常是指完成一个AI模型单步训练的过程。也就是说，本文所讨论的性能的衡量和性能的优化，都是站在模型角度上。单batch总时间 = 数据加载时间 + 模型前反向时间 + 优化器时间 + 模型后处理时间 + 通信时间 + 调度时间数据加载时间。
大模型学习
zhuikefeng的博客
01-08 1966
其中b是batch，s是序列长度，a是注意力头数，l是transformer层数，h指隐藏层维度。优化器状态占用的显存大小也是一样，与优化器类型有关，与模型参数量有关，但与输入数据的大小无关。计算量和参数量的关系，近似认为，在一次前向传递中，对于每个token，每个模型参数，需要进行2次浮点数运算，即一次乘法法运算和一次加法运算。，b是batch，l是transformer层数，h指隐藏层维度，s是输入序列长度，n是输出序列长度，4=2*2，k和v的cache，每个cache fp16存储，占用2B。
深度学习常见概念解析
jameschen9051的博客
12-27 2375
1、损失函数loss 用于定义网络输出结果与正确结果之间的误差的函数，常用损失函数为均方差（MSE）和交叉熵（Cross Entropy）。一般均方差用于回归问题，交叉熵用于分类问题。 2、梯度 梯度下降：让损失函数沿着负梯度方向更新神经网络参数，使得损失函数不断减小，达到优化网络模型的目的。梯度下降方法有全局梯度下降、随机梯度下降和小批量梯度下降，常用小批量梯度下降方法。 梯度消失：神经网络训练过程中，loss非常小，导致参数难以更新，即梯度消...
论文详解：字节万卡集群训练大模型，算力利用率达55.2%
m0_58966968的博客
04-11 1694
论文：万卡集群训练大模型（by字节跳动） 我们介绍了MegaScale的设计、实现和工程经验，这是一个用于训练大语言模型（LLMs）的生产系统，其规模超过10,000个GPU。在这个规模上训练LLMs带来了前所未有的训练效率和稳定性挑战。我们采取全栈方法，共同设计算法和系统组件，涵盖模型块和优化器设计、计算与通信重叠、操作符优化、数据管道和网络性能调优。在生产中，保持整个训练过程的高效率（即稳定性）是一个重要考虑因素，因为LLM训练作业的持续时间很长。许多严重的稳定性问题只在大规模时才显现出来，
论文导读：万卡集群训练大模型（by字节跳动）
渡江客涂鸦板
03-05 4546
字节跳动提出了万卡集群大模型训练架构MegaScale，并在12288个GPU上训练一个175B LLM模型时，用MegaScale实现了55.2%的MFU，比Megatron-LM提高了1.34倍；提供了万卡集群训练大模型的踩坑经验；证实了强大完备的训练基础设施（包含各种各样的诊断工具、监测工具、可视化工具等）对高效、稳定训练LLM至关重要；
LLMs：《PaLM: Scaling Language Modeling with Pathways》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-27 4694
​ LLMs：《PaLM: Scaling Language Modeling with Pathways》翻译与解读 目录 《PaLM: Scaling Language Modeling with Pathways》翻译与解读 Abstract 1、Introduction介绍 2、Model Architecture模型架构 3、Training Dataset训练数据集 4、Training Infrastructure训练基础设施 5、Trai
Compare-Paging-Algorithms:模拟不同的分页算法（计算机中处理虚拟内存“页面”的方法），包括 FIFO、LRU、MFU 和 LFU
07-07
分页算法比较 跳至，或阅读项目的 。 这是关于内核（“操作系统”，COMS221）的大学课程的最终项目，目的是提高分页算法的效率。 在看到其他组成员的尝试后，我决定最灵活和最强大的解决方案（并且通过扩展，最好的，因为速度在这里无关紧要）实现这一点的方法是遵循面向对象的哲学。 我首先创建了一个“页面”类并创建了操作页面的方法。 那天晚上，我最终从头开始重写了整个项目： “页面”是一个具有 contentBit、referenceBit、touchCount 和每个算法可能需要的任何其他属性的类。 因此，一个进程是一个页面数组——事实上，所有进程（“硬盘”）一起是一个页面的二维数组。 从 Page[][] 数组中，元素被添加到 Java 集合中。 我为这部分自学了集合，因为虽然页面不会在现实生活中的 RAM 中重新排序，但我们可以以编程方式做任何方便的事情，因为结果是相同的。 在我的实现
edx_mfu:一个处理作业的 XBlock，允许学生上传多个文件
06-30
多文件上传 XBlock 该软件包提供了一个与 edX 平台一起使用的 XBlock，该平台提供带有多个文件上传的人员分级作业。 邀请学生上传包含他们在作业中的工作的文件。 然后，教师可以下载文件并输入作业成绩，并为学生提供带注释的文件。 请注意，此包既是 XBlock 又是 Django 应用程序。 安装： ：安装 Vagrant、Pip 和 VirtualBox 安装 Virtual Box（版本 4.3.12）。 安装sudo easy_install pip 安装 Vagrant（版本 1.6.3）。 安装 Vagrant 插件。 下载流浪文件。 使虚拟机运行。 mkdir devstack cd devstack curl –L https://raw.githubusercontent.com/edx/configuration/master/vagrant/
自主LLM代理：XAgent
02-05
一种自主LLM代理，用于复杂任务求解。它能够模仿人类认知并自主执行复杂任务的智能代理。大型语言模型（LLM）的出现开创了自主代理的新时代。XAgent代表了这一领域的重要技术进步，旨在解决复杂任务和模仿人类智能。
探究大语言模型(LLM)：让ChatGPT火爆的背后
08-27
探究大语言模型(LLM)：让ChatGPT火爆的背后
基于LLM构建系统：课程分享
06-10
课程可能包括了模型的选择、预处理数据的方法、训练技巧、评估标准以及性能优化等方面的知识，旨在帮助开发者掌握构建基于LLM系统的完整流程。 【标签】：“课程笔记” “课程笔记”表明了这些文件可能是学员在...
终端LLM AI模型:mlc-llm
10-10
**终端LLM AI模型：mlc-llm详解** MLC LLM，全称为Multi-Language Localized Language Model，是一款创新的AI技术，旨在提供一种通用的解决方案，将强大的语言模型能力带入各种硬件设备和本地应用程序。这个模型的...
LLM大模型测试训练语料数据
03-15
在预训练阶段，LLM 从大量未标记的文本数据中学习广泛的知识，然后将其存储在其模型参数中。它使 LLM 具有一定程度的语言理解和生成能力。预训练语料库可以包含各种类型的文本数据，如网页、学术资料、书籍，同时也...
AI算力集群网络规模与集群算力发展分析
04-21 1303
AI算力集群网络规模与集群算力发展分析
logger.info(f""" loading model config llm device: {LLM_DEVICE} embedding device: {EMBEDDING_DEVICE} dir: {os.path.dirname(os.path.dirname(__file__))} flagging username: {FLAG_USER_NAME} """)
06-08
这段代码是使用Python logging模块，输出一条INFO级别的日志信息。其中包含了一些程序的运行参数和配置信息，方便程序员在日后查看日志时了解程序的运行环境和配置。 具体来说，该日志信息包括以下内容： - `loading model config llm`: 表示正在加载一个名为"llm"的模型配置。 - `device: {LLM_DEVICE} embedding device: {EMBEDDING_DEVICE}`：表示模型使用的硬件设备，其中`LLM_DEVICE`和`EMBEDDING_DEVICE`是两个变量，分别代表模型的设备和嵌入式设备。 - `dir: {os.path.dirname(os.path.dirname(__file__))}`：表示程序运行的根目录路径。 - `flagging username: {FLAG_USER_NAME}`：表示程序中使用的一个变量`FLAG_USER_NAME`，其含义可能是用于标记当前用户的身份信息。 这些信息可以帮助程序员在后期维护和调试程序时更好地理解程序的运行情况。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值