为什么会发展出Multi-Query Attention和Group-Query Attention?

已于 2024-09-06 14:01:04 修改
阅读量246 收藏 4
点赞数 3
文章标签： 人工智能 transformer
于 2024-08-13 19:06:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_25295605/article/details/141171431
版权

导入

如果你看GPT系列的论文，你学习到的self-attention是Multi-Head Attention(MHA)即多头注意力机制，
MHA 包含h个Query、Key 和 Value 矩阵，所有注意力头(head)的 Key 和 Value 矩阵权重不共享。

这个机制已经能很好的捕捉信息了，为什么会继续发展出MQA和GQA？

很多文章上来就是这三种attention机制的数学公式差别，但没有说为什么有了MHA，还需要MQA，甚至GQA。本文简单阐述原因，给大家一个直觉式的理解。
请添加图片描述

KV Cache

随着大模型的参数量越来越大，推理速度也受到了严峻的挑战。于是人们采用了KV Cache，想用空间换时间。

KV Cache的介绍参见之前的文章：

如何评判大模型的输出速度？首Token延迟和其余Token延迟有什么不同？

MQA

而增加了空间后，显存又是一个问题，于是人们尝试在attention机制里面共享keys和values来减少KV cache的内容。
这就有了Multi-Query Attention(MQA)，即query的数量还是多个，而keys和values只有一个，所有的query共享一组。这样KV Cache就变小了。

GQA

但MQA的缺点就是损失了精度，所以研究人员又想了一个折中方案：不是所有的query共享一组KV，而是一个group的guery共享一组KV，这样既降低了KV cache，又能满足精度。这就有了Group-Query Attention。

参考

请添加图片描述

真-忒修斯之船
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Multi-Query Attention 阅读笔记
Talk Is Cheap
06-26 1385
核心贡献：优化 multi-head attention 为 multi-query attention，减少多head相关运算，不降低精度 且 大幅提升解码速度。
大模型应用开发技术：LangChain+LangGraph+LangSmith接入Ernie Speed 大模型 Multi-Agent框架案例实战（三）实战代码
段智华的博客
06-19 271
LangGraph LangChain Multi Agent
深度解析新型attention注意力机制Group Query Attention(GQA)为什么能给LLM decoder带来极大推理加速
weixin_43568400的博客
02-27 1649
GQA是2023年发表的一篇paper提出的idea，目前用在了llama2、falcon等LLM上。paper一般都篇幅众多，老规矩，本文总结出最精华的部分:)
Multi Query Attention & Group Query Attention
Swift's Blog
09-13 3243
Multi Query Attention(MQA)在2019年就被提出来了，用于推理加速，但在当时并没有受到很多关注，毕竟一张2080就能跑Bert-base了。随着LLM的大火，MQA所带来的收益得以放大。more。
MQA(Multi-Query Attention)详解
最新发布
xiao_ling_yun的博客
08-01 600
MQA(Multi-Query Attention)：多头注意力机制MHA的优化版本，轻微牺牲性能，换取FLOPs的减少和KV Cache的显存占用的减少。
chatGLM2中的Multi Query Attention
HUSTHY的博客
07-10 2486
MQA最早是出现在2019年谷歌的一篇论文，之所以没有关注到，是因为之前很少做文本生成，解码序列长度也没有现阶段大模型的要求那么高。MQA的思想其实比较简单(如果对MHA比较熟悉的话)，论文中给出的描述如下：论文的意思是：MQA和MHA除了不同的attention head共享一份keys和values权重之外，其他的都是一样的。
Multi-Head Attention和Multi-Query Attention的计算分析
wentinghappyday的博客
08-17 2554
Multi-Head Attention、Multi-Query Attention的实现伪代码解读，计算量解读和显存占用量解读
一文通透各种注意力：从多头注意力MHA到分组查询注意力GQA、多查询注意力MQA
结构之法 算法之道
11-05 7861
因此，可以确认：在 MQA 中，除了 query 向量还保存着 8 个头，key 和 value 向量都只剩 1 个「公共头」了，这也正好印证了论文中所说的「所有 head 之间共享一份 key 和 value 的参数」然而，随着上下文窗口或批量大小的增加，多头注意力 (MHA)模型中与 KV 缓存大小相关的内存成本显着增长。对于较大的模型，KV 缓存大小成为瓶颈，键和值投影可以在多个头之间共享，而不会大幅降低性能，可以使用。)，其能够在保证模型效果的同时加快 decoder 生成 token 的速度。
CVPR‘21 | Involution：超越convolution和self-attention的神经网络新算子
jacke121的专栏
03-27 2215
本文是对我们CVPR 2021被接收的文章 Involution: Inverting the Inherence of Convolution for Visual Recognition的解读，同时也分享一些我们对网络结构设计（CNN和Transformer）的理解。 这篇工作主要是我和SENet的作者胡杰一起完成的，也非常感谢HKUST的两位导师@陈启峰和张潼老师的讨论。 0 概要 我们的贡献点简单来讲： （1）提出了一种新的神经网络算子（operator或op）称...
【YOLOv10改进-注意力机制】HAT(Hybrid Attention Transformer,)混合注意力机制
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-04 338
基于Transformer的方法在低级视觉任务中表现出色，例如图像超分辨率。然而，通过归因分析，我们发现这些网络只能利用输入信息的有限空间范围。这表明Transformer在现有网络中的潜力尚未完全发挥。为了激活更多的输入像素以获得更好的重建效果，我们提出了一种新颖的混合注意力Transformer（Hybrid Attention Transformer, HAT）。它结合了通道注意力和基于窗口的自注意力机制，从而利用了它们能够利用全局统计信息和强大的局部拟合能力的互补优势。
LLM 加速技巧：Muti Query Attention
deephub
03-07 4382
MQA是在2019年提出的，当时的应用还没有那么广泛。这是因为以前的模型不需要关心这些方面，例如，LSTM只需要维护一个状态，而不需要保留任何缓存。当transformer最初被提出时，它主要用于Seq2Seq任务，特别是在Encoder-Decoder模型中。由于模型的规模不是很大，也并且没有太多的实际需求，所以MQA并没有引起太多的关注。直到近年来（尤其是2023年开始）基于transformer的大型语言模型(如GPT)得到广泛应用后，推理的瓶颈才被人们重视。
Transformer之MQA：多查询注意力(Multi-Query Attention,MQA)的概述(论文+原理等)、代码实现、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
03-05 1151
Transformer之MQA：MQA的概述、代码实现、案例应用之详细攻略 目录 相关论文 《Fast Transformer Decoding: One Write-Head is All You Need》翻译与解读 Abstract MQA技术的概述 MQA的代码实现 T1、MQA在 llm-foundry 中的实现 MQA的案例应用 相关论文 《Fast Transformer Decoding: One Write-Head is All You Need
几种不同的self-attention
qq_29787929的博客
02-13 461
在进行大模型的训练和推理中会大量的使用self-attention，在显存中需要保存self-attention中的query、key和value矩阵。Multi-head attention中每个头都有对应的query、key和value矩阵，因此会占用大量显存。grouped-query attention通过分组的方式，同一个组内共用一个key和value矩阵，当分组数与头数相同时即为Multi-head attention，当分组数为1时则为Multi-query attention。
Transformer-Attention优化：FlashAttention（让语言模型拥有更长的上下文）
u013250861的博客
07-07 468
给配备更长的上下文仍然很困难，因为 Transformer 核心自注意力模块的时间复杂度以及内存复杂度在序列长度上是二次方的。FlashAttention是一种新的注意力机制，旨在解决Transformer在处理长序列时速度慢且内存需求大的问题。FlashAttention的创新之处在于引入了IO（输入/输出）感知的设计原则，专注于减少GPU内存（高带宽内存）和GPU片上内存（SRAM）之间的读写次数。它使用平铺（tiling）的方法来实现这一目标，从而降低了数据在不同级别存储器之间的传输次数。
Attention，Multi-head Attention--注意力，多头注意力详解
热门推荐
m0_46614636的博客
03-26 4万+
Attention 首先谈一谈attention。 注意力函数其实就是把一个query，一个key-value的集合映射成一个输出。 其中query，key，value，output（Attention Value）都是向量。 输出是values的加权求和，是query与当前key的相关程度。 Attention 函数的本质可以被描述为： 一个查询（query）到一个系列（键key-值value）对的映射。 例如：计算A与B的attention，就是用A的Q与B的K-V来计算。 Scaled Do
强的离谱， Transformer 模型与联邦机器学习详解！
我爱计算机视觉
04-11 1083
Transformer 作为一种基于注意力的编码器 - 解码器架构，不仅彻底改变了自然语言处理（NLP）领域，还在计算机视觉（CV）领域做出了一些开创性的工作。与卷积神经网络（CNN）相比，视觉 Transformer（ViT）依靠出色的建模能力，在 ImageNet、COCO 和 ADE20k 等多个基准上取得了非常优异的性能。正如德克萨斯大学奥斯汀分校的计算机科学家 ...
Grouped Query Attention论文阅读
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
08-06 1489
Google在2023年发表的一篇关于Transformer Attention的论文，整体论文写的清晰易读，思想简单但很好用。论文名字简写是GQA
自注意力(Self-Attention)与Multi-Head Attention机制详解
weixin_60737527的博客
10-21 1万+
self-attention，multi-head attention原理详解
pvt_v2中使用了Multi-Head Attention吗？？
07-14
具体来说，PVTv2使用了两个级别的Multi-Head Attention：全局级别的Multi-Head Attention和局部级别的Multi-Head Attention。 全局级别的Multi-Head Attention用于整个图像的特征交互，帮助模型捕捉全局上下文信息...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值