Megatron-LM：简单读读TransformerEngine（transformer_engine）

已于 2024-02-14 13:12:35 修改
阅读量1.3k 收藏 8
点赞数 10
分类专栏： # LLM/Transformer 图神经网络 # LLM/预训练&SFT 文章标签： 人工智能
于 2024-01-06 01:37:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/135420601
版权
Transformer Engine是英伟达推出的针对Transformer模型优化的工具，尤其针对FP8特性进行了Kernel重写。它通过动态调整输入范围，解决FP8数据溢出问题，提升大规模语言模型的性能。本文介绍了其工作原理，包括Kernel实现、Python API，以及如何在PyTorch中使用它进行混合精度训练。
摘要由CSDN通过智能技术生成

Transformer Engine

安装：Installation — Transformer Engine 1.1.0 documentation

在H100发布之际，英伟达还带来一个“重磅产品”——Transformer Engine。在Transformer大火之际推出这么一个产品，无疑是炼丹师福音。

当时我还在猜测它会以怎么样的一种形式呈现给用户，直到最近公开了仓库 NVIDIA/TransformerEngine

这其实就是PyTorch的一个拓展，为了利用FP8的特性，针对Transformer里面的Kernel进行了重写，包含了一系列LayerNorm, GeLU, ScaledSoftmax等。

使用方式也是比较简单，使用该拓展额外

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
LLM-预训练：深入理解 Megatron-LM（3）代码结构
u013250861的博客
10-22 148
以上介绍了 Megatron-LM 代码的整体结构，下一篇介绍模型并行的实现。简枫：深入理解 Megatron-LM（4）模型并行实现20 赞同 · 0 评论文章​编辑简枫：深入理解 Megatron-LM（5）并行设置10 赞同 · 0 评论文章​编辑。
Transformer Engine安装
u013250861的博客
01-07 1948
1.确认您已经安装了 OpenCV 库。可以通过在命令行中输入。来检查您是否已经安装了该库。如果您还没有安装它，可以使用。
xingyi ai集群transformer engine安装
weixin_49452153的博客
08-11 205
星光k8s目前只有AI集群服务能使用RDMA，因此通过AI集群服务中的pytorch镜像开启环境。
TransformerEngine
AI + 工程
07-26 554
一、关于 TransformerEngine ？ 亮点 二、使用示例 PyTorch JAX Flax 三、安装 先决条件 Docker pip 从源码 使用 FlashAttention-2 编译 四、突破性的变化 v1.7: Padding mask definition for PyTorch 五、FP8 收敛 六、集成 七、其它 贡献 论文 视频 最新消息
TransformerEngine代码走读
u013250861的博客
01-07 1398
在几个月前nv就发表过关于fp8数制训练和推理的白皮书，大概三四个月前公开了他们针对transformer模型的fp8训练的软件库TransformerEngine，由于最近在关注fp8训练，因此想了解一下他们的实现方案，但是由于没有H100的卡，目前还不能跑通te的代码，很多细节没办法验证，只能通过源码的阅读来观察它插入了什么功能实现fp8量化训练，特此记录一下。从这些层面来说，te的代码阅读难度还好，大部分工作是基于pytorch的一些数据结构，涉及底层的代码也不算多。
[linux] AttributeError: module ‘transformer_engine‘ has no attribute ‘pytorch‘
心宝的博客
03-27 1627
其中这个答案并没有解决我的问题：import的flash_attn是xformers的包。。。cd到目录下 /mnt/nas/kexin/cv/Open-Sora/xformers/third_party/flash-attention/flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so。
全新 Hopper 架构的Transformer 引擎有什么特点？
专注于人工智能领域的小何尚
05-31 1140
Transformer 引擎是全新 Hopper 架构的一部分，将显著提升 AI 性能和功能，并助力在几天或几小时内训练大型模型。 Transformer 模型是当今广泛使用的语言模型（例如 asBERT 和 GPT-3）的支柱。Transformer 模型最初针对自然语言处理用例而开发，但因其通用性，现在逐步应用于计算机视觉、药物研发等领域。 与此同时，模型大小不断呈指数级增长，现在已达到数万亿个参数。由于计算量巨大，训练时间不得不延长到数月，而这样就无法满足业务需求。 Transformer 引擎
Megatron-LM训练GPT2模型
u013250861的博客
01-15 200
又换了22.10，没有段错误但是，缺少te.pytorch.DotProductAttention！之前一直以为是识别不到megatron里的tokenizer，或者是pip tokenizer的包，弄了好久，结果是根本就是缺少了一个tokenizer.py。将huggingface转换为megatron可用，但是这个卡跑不下7B的，砍了参数，就不适配这个转换好的 了。在这里安装apex成功了，但是模型训练使用的时候又报错了！下载镜像 ，选好版本（别用太高，不适配，多踩了很多坑），有apex的就行。
LLM-预训练：深入理解 Megatron-LM（4）并行设置
u013250861的博客
10-22 165
以上就是对并行设置的分析。下一篇我们重点看下模型并行的内容。简枫：深入理解 Megatron-LM（5）张量并行20 赞同 · 0 评论文章​编辑。
Tagged Document Transformer Engine-开源
05-13
根据可自定义的表格将文本的标记转换，例如将标记从html 3.2转换为html + css（或反之）
transformers的安装
weixin_51230328的博客
04-24 908
解决办法：第二天我将pycharm中的transformer相关的包复制到了jupyter中，然后直接运行是报错的，需要pip install transformer，就显示成功了！在网上试了各种解决办法，大都是换镜像源，或者使用conda install -c huggingface transformers安装(很慢）
Transformers之环境安装
qq_35215756的博客
03-18 7567
自定义安装，主要是为了在docker中使用conda虚拟环境。
NVIDIA Transformer Engine 使用教程
最新发布
gitblog_00388的博客
09-08 762
NVIDIA Transformer Engine 使用教程 TransformerEngineA library for accelerating Transformer models on NVIDIA GPUs, including using 8-bit floating point (FP8) precision on Hopper and Ada GPUs, to provide b...
Transformers 安装与基本使用
心若有所向往，何惧道阻且长。
06-27 2170
Transformers 安装与基本使用
Transformer源码（带注释）
C语言/数据结构/数学建模/深度学习/生物信息
12-11 805
在看Transformer源码前，必须要先从李宏毅/李沐那里把注意力机制/自注意力/多头注意力的原理和Transformer的架构原理先搞明白，才可以看得懂代码。我是先把多头自注意力机制那块公式/代码手推过一遍之后，再结合up主的讲解补充了mask和position encoding，就能搞懂transformer了。如果有学不懂的欢迎评论/私信加qq交流，也当是自己巩固知识。在up主的注释下增加了一些自己的注释。
一文通透DeepSeek-V2(改造Transformer的中文模型)：详解MoE、GRPO、MLA
结构之法 算法之道
08-26 3293
成就本文有以下三个因素校长最近开始搞deepseek了吗？刚看了论文，没搞懂MLA那块的cache是怎么算的，我总觉得他的效果应该类似MQA才对，但是反馈是挺好的目前团队项目上的事情太多，然后近期在写那个KAN确实还没来得及看这个deepseek，我近期看下而搞之前——近几天，会先写一下它的论文解读，故本文就来了且一如既往做到，对于几乎每一个主题，都做到本博客万千读者或七月学员所说的：“还是看校长的文章好理解”，如有任何问题或任何不懂的地方，可以随时留言/评论，我会找时间尽快回复。
Transformer合集1
whaosoft143ai的博客
10-06 2556
强化学习发现矩阵乘法算法，DeepMind再登Nature封面推出AlphaTensor 如何提高ViT的效率？可以是让模型更容易训练，减少训练时间，也可以减少模型部署在硬件上的功耗等等。本文主要讲inference time的效率问题，简单说就是如何让模型更快，同时性能不掉太多甚至反升。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值