Transformer-Attention优化：FlashAttention（让语言模型拥有更长的上下文）

已于 2023-08-19 21:32:36 修改
阅读量584 收藏
点赞数
分类专栏： # LLM/Transformer 文章标签： 语言模型 人工智能 自然语言处理
于 2023-07-07 23:42:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/131606135
版权
FlashAttention是一种新型注意力机制，旨在解决Transformer模型在处理长序列时的速度和内存问题。通过减少GPU内存（HBM和SRAM）之间的读写次数，实现了在BERT和GPT-2模型上的显著加速。FlashAttention采用分块计算和不存储注意力矩阵来减少内存需求，同时在保持模型质量的同时提高训练速度。此外，块稀疏FlashAttention扩展了序列长度，适用于64k序列，进一步提高了效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文地址：FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness

FA主要思路还是通过tile技术减少在HBM和on-chip SRAM内存读写时间。FA在bert-large上端到端训练有15%的加速（seq length 512)， 在GPT-2有3倍加速（seq length 1024）。 

主要贡献点

  1. 计算softmax时候不需要全量input数据，可以分段计算。
  2. 反向传播的时候，不存储attention matrix (N^2的矩阵)，而是只存储softmax归一化的系数。

基于 FlashAttention 技术，清华将基座模型的上下文长度（Context Length）由 ChatGLM-6B 的 2K 扩展到了 32K，并在对话阶段

了解本专栏 订阅专栏 解锁全文 超级会员免费看
LLM - 大语言模型的自注意力(Self-Attention)机制基础 概述
AGI
03-11 2651
注意力(Attention)机制是大型语言模型中的一个重要组成部分，帮助模型决定在处理信息时，所应该关注的部分。在自然语言处理中，一个序列由一系列的元素组成。注意力机制通过为序列中的每个元素分配一个权重来工作，这个权重反映了每个元素对于任务的重要性。模型会更加关注权重高的元素。自注意力(Self-Attention)是一种特殊的注意力机制，不是将输入序列与输出序列关联起来，而是关注序列内部元素之间的关系。
Attention优化｜2w字原理&图解: 从Online-Softmax到FlashAttention V1/V2/V3
强化学习曾小健
05-25 4104
本文通过原理分析和图解的方式，通俗易懂地FlashAttention系列算法。FlashAttention V1/V2在LLM领域的应用已经非常广泛，相关的论文也反复读了几遍。FA1和FA2论文非常经典，都推荐读一下（不过FA2论文中公式错误不少本文大约1.8w字，包括以下内容：0x07 分布式训推使用FlashAttention0x09 FlashAttention中MQA/GQA以及Causal Mask处理。
迈入大模型时代的深度学习：使用 Flash Attention 技术让 Transformer 起飞
farfarcheng的博客
08-21 930
Flash Attention 提供了一种新型高效的 Transformer 加速技术，通过优化 IO 访问提高了计算速度并降低显存占有。这限制了 Transformer 能够建模的上下文长度，同时使得大尺度模型的训练和推理时间延长。本期 NoteBook 中详细介绍了 Flash Attention 技术的基本原理，同时提供了 GPT 模型的上手案例以便于读者更加容易理解与使用 Flash Attention 技术。
Transformer中的FlashAttention
Hanscal
03-08 1843
因为Transformer的自注意力机制(self-attention)的计算的时间复杂度和空间复杂度都与序列长度有关，所以在处理长序列的时候会变的更慢，同时内存会增长更多，Transformer模型的计算量和内存占用是序列长度N的二次方。attention算法也是IO敏感的，从上面的图可以看出，通过对GPU显存访问的改进来对attention算法的实现进行优化，可以减少高带宽内存(High Bandwidth Memory，HBM)的访问，来提升模型的训练和推理速度。PS:欢迎扫码头像关注公众号^_^.
Multi-Query Attention 详解
最新发布
阿正的梦工坊
02-23 650
MQA 适用于需要高效推理的任务，但在高表达能力的任务上可能会有一定的性能损失
Multi Query Attention & Group Query Attention
Swift's Blog
09-13 4089
Multi Query Attention(MQA)在2019年就被提出来了，用于推理加速，但在当时并没有受到很多关注，毕竟一张2080就能跑Bert-base了。随着LLM的大火，MQA所带来的收益得以放大。more。
chatGLM2中的Multi Query Attention
HUSTHY的博客
07-10 2899
MQA最早是出现在2019年谷歌的一篇论文，之所以没有关注到，是因为之前很少做文本生成，解码序列长度也没有现阶段大模型的要求那么高。MQA的思想其实比较简单(如果对MHA比较熟悉的话)，论文中给出的描述如下：论文的意思是：MQA和MHA除了不同的attention head共享一份keys和values权重之外，其他的都是一样的。
多查询注意力（Multi Query Attention, MQA）
lqq
10-22 1745
多查询注意力（MQA）是一种对多头注意力机制的改进，主要通过共享键和值矩阵来减少显存占用并提升计算效率。它特别适合长序列输入和大规模模型的应用场景。通过减少显存读写操作，MQA 有效缓解了传统多头注意力在显存使用上的瓶颈问题，同时可以通过微调将其集成到现有模型中。许多现代模型如 Falcon、SantaCoder 和 StarCoder 已经使用了该机制，实现了性能和效率的提升。
图解Attention优化: 从Online-Softmax到FlashAttention V1/V2/V3
lqfarmer的博客
07-28 970
本文首先从Online-Softmax的角度切入，由浅入深地讲解了3-pass Safe-Softmax、2-pass Online-Softmax以及1-pass FlashAttention的原理；然后，进一步详细讲解了FlashAttention-1和FlashAttention-2算法中各自的优化点、FlashAttention IO复杂度分析以及适用场景、FlashAttention在分布式训推中的应用；
0011-极智AI-解读大模型优化技术FlashAttention-个人笔记
09-05
在深度学习领域中，大模型的推理优化一直是研究的重点，尤其是随着Transformer架构的广泛应用，对大模型的优化需求越发迫切。本文将深入探讨名为FlashAttention的优化技术，并通过算子融合与矩阵分块的方式，来具体...
MQA(Multi-Query Attention)详解
xiao_ling_yun的博客
08-01 2098
MQA(Multi-Query Attention)：多头注意力机制MHA的优化版本，轻微牺牲性能，换取FLOPs的减少和KV Cache的显存占用的减少。
Multi-Head Attention和Multi-Query Attention的计算分析
wentinghappyday的博客
08-17 3107
Multi-Head Attention、Multi-Query Attention的实现伪代码解读，计算量解读和显存占用量解读
Multi-Query Attention 阅读笔记
Hope^_^
06-26 1560
核心贡献：优化 multi-head attention 为 multi-query attention，减少多head相关运算，不降低精度 且 大幅提升解码速度。
一文通透各种注意力：从多头注意力MHA到分组查询注意力GQA、多查询注意力MQA
热门推荐
结构之法 算法之道
11-05 1万+
因此，可以确认：在 MQA 中，除了 query 向量还保存着 8 个头，key 和 value 向量都只剩 1 个「公共头」了，这也正好印证了论文中所说的「所有 head 之间共享一份 key 和 value 的参数」然而，随着上下文窗口或批量大小的增加，多头注意力 (MHA)模型中与 KV 缓存大小相关的内存成本显着增长。对于较大的模型，KV 缓存大小成为瓶颈，键和值投影可以在多个头之间共享，而不会大幅降低性能，可以使用。)，其能够在保证模型效果的同时加快 decoder 生成 token 的速度。
几种不同的self-attention
qq_29787929的博客
02-13 586
在进行大模型的训练和推理中会大量的使用self-attention，在显存中需要保存self-attention中的query、key和value矩阵。Multi-head attention中每个头都有对应的query、key和value矩阵，因此会占用大量显存。grouped-query attention通过分组的方式，同一个组内共用一个key和value矩阵，当分组数与头数相同时即为Multi-head attention，当分组数为1时则为Multi-query attention。
Transformer之MQA：多查询注意力(Multi-Query Attention,MQA)的概述(论文+原理等)、代码实现、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
03-05 1417
Transformer之MQA：MQA的概述、代码实现、案例应用之详细攻略 目录 相关论文 《Fast Transformer Decoding: One Write-Head is All You Need》翻译与解读 Abstract MQA技术的概述 MQA的代码实现 T1、MQA在 llm-foundry 中的实现 MQA的案例应用 相关论文 《Fast Transformer Decoding: One Write-Head is All You Need
为什么会发展出Multi-Query Attention和Group-Query Attention?
深数研究院
08-13 454
如果你看GPT系列的论文，你学习到的self-attention是**Multi-Head Attention**(MHA)即多头注意力机制， MHA 包含h个Query、Key 和 Value 矩阵，所有注意力头(head)的 Key 和 Value 矩阵权重不共享。 这个机制已经能很好的捕捉信息了，为什么会继续发展出MQA和GQA？
Transformer论文阅读笔记总结
weixin_62305124的博客
01-31 937
Transformer论文阅读笔记总结
FlashAttention：GPU优化的高效精确注意力机制
Flash Attention是Transformer模型的一个重要进展，它通过IO感知和tiling策略，解决了长序列处理中的效率挑战，为大语言模型的训练和应用提供了更快、更节省内存的解决方案。这一工作对于推动深度学习在处理大规模...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值