Raki的读paper小记：GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints

最新推荐文章于 2024-07-08 16:03:09 发布
最新推荐文章于 2024-07-08 16:03:09 发布
阅读量674 收藏
点赞数 1
分类专栏： NLP 读paper 文章标签： transformer 深度学习 人工智能 语言模型 chatgpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/raki_j/article/details/132199645
版权
读paper 同时被 2 个专栏收录
83 篇文章 5 订阅
订阅专栏
NLP
82 篇文章 10 订阅
订阅专栏

Abstract&Introduction&Related Work

  • 研究任务
    注意力机制
  • 已有方法和相关工作
    multi-head，multi-query
  • 面临挑战
    效果与效率的折中平衡
  • 创新思路
    • 提出了一种使用原始预训练计算量的5%来训练现有的多头语言模型检查点转换为具有MQA的模型的方法
    • 引入了分组查询注意力（Grouped-query attention, GQA），它是多查询注意力的泛化形式，使用了一个中间（大于一个，小于查询头的数量）数量的键-值头。我们展示了经过训练的GQA可以在与MQA相当的速度下实现接近多头注意力的质量
  • 实验结论

GQA

将多头注意力转化为多查询checkpoint的过程：
在这里插入图片描述
分组查询注意力将查询头划分为G个组，每个组共享一个键头和值头。GQA-G表示具有G个组的分组查询。GQA-1表示单个组，因此只有一个键头和值头，等效于MQA；而GQA-H表示组数等于头数，等效于MHA。图2展示了分组查询注意力和多头/多查询注意力的比较。将多头检查点转换为GQA检查点时，我们通过对该组中的所有原始头进行均值汇聚来构建每个组的键头和值头。适中数量的组导致插值模型的质量高于MQA，但比MHA更快，正如我们将展示的那样，这代表了一个有利的权衡。从MHA转换到MQA将H个键头和值头减少为单个键头和值头，减小了键值缓存的大小，因此需要加载的数据量减少了H倍。然而，更大的模型通常会按比例增加头的数量，使得多查询注意力在内存带宽和容量上都表现出更激进的削减。GQA使我们能够随着模型尺寸的增加保持带宽和容量的同等比例减少。此外，较大的模型受到注意力的内存带宽开销相对较小，因为键值缓存随着模型维度的增加而增加，而模型的FLOPs和参数随模型维度的平方增加

针对大型模型的标准分片将单个键头和值头复制了模型分区的次数（Pope等，2022）

用了共享查询（也就是权重共享）和分块的思想
在这里插入图片描述

Experiments

在这里插入图片描述在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

Conclusions

语言模型在推理过程中主要由于加载键和值所带来的内存带宽开销而昂贵。多查询注意力通过降低这种开销来减少模型容量和质量。我们提出将多头注意力模型转换为多查询模型，只需进行少量的原始预训练计算。此外，我们引入分组查询注意力，它是多查询注意力和多头注意力的插值，既能够在与多查询注意力相当的速度下实现接近多头注意力的质量

Remark

紧跟时事了，水一篇，用共享权重和分块思想优化模型的计算量，已经被各大模型用作基操，好

爱睡觉的Raki
关注
专栏目录
GQA分组注意力机制
weixin_40777649的博客
04-28 1471
【代码】GQA分组注意力机制。
探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（四）分组多查询注意力
段智华的博客
04-26 889
探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（四）分组多查询注意力。
大模型面经—GQA（Grouped Query Attention）和MHA、MQA的区别及代码
最新发布
人工智能曾小健
07-08 1203
此外，GQA的实现并不复杂，可以通过对现有MHA模型进行少量的训练调整来实现，这使得从MHA到GQA的过渡相对容易。在大模型技术中，GQA（Grouped Query Attention）是一种注意力机制，它介于。之间进行插值，旨在实现更快的推理速度和接近MHA的模型质量，是高负载系统优化的有力工具。，最终将结果合并，以捕获序列的不同方面信息。具体来说，GQA通过分组的方式，减少了需要。的数量，从而减少了内存的使用，同时由于。2024年07月07日 10:43。）之间，旨在结合两者的优点，
一文通透各种注意力：从多头注意力MHA到分组查询注意力GQA、多查询注意力MQA
结构之法 算法之道
11-05 8335
因此，可以确认：在 MQA 中，除了 query 向量还保存着 8 个头，key 和 value 向量都只剩 1 个「公共头」了，这也正好印证了论文中所说的「所有 head 之间共享一份 key 和 value 的参数」然而，随着上下文窗口或批量大小的增加，多头注意力 (MHA)模型中与 KV 缓存大小相关的内存成本显着增长。对于较大的模型，KV 缓存大小成为瓶颈，键和值投影可以在多个头之间共享，而不会大幅降低性能，可以使用。)，其能够在保证模型效果的同时加快 decoder 生成 token 的速度。
Grouped Query Attention论文阅读
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
08-06 1548
Google在2023年发表的一篇关于Transformer Attention的论文，整体论文写的清晰易读，思想简单但很好用。论文名字简写是GQA
论文阅读：Segmentation-Based Deep-Learning Approach for Surface-Defect Detection
Lesel的博客
07-24 4002
PDF\CODE 基于深度学习分割的表面缺陷检测 Domen Tabernik（domen.tabernik@fri.uni-lj.si）； Samo Šela； Jure Skvar； Danijel Skoaj（danijel.skocaj@fri.uni-lj.si） part of Springer Nature 2019 摘要：基于机器学习的表面缺陷自动检测已经成为一个有趣且有发展前景的研究领域，对视觉检测的应用领域产生了非常高且直接的影响。深度学习方法已成为最适合这项任务的方法。它
简单图形的输入输出练习
weixin_52092817的博客
11-11 1059
输出矩形 输出直角三角形(靠左) 输出直角三角形(靠右) 输出等腰三角形 输出菱形 输出⚪ 输出椭圆 输出平行四边形 输出倒等腰三角形
递归变分网络：加速MRI重建
732递归变分网络：应用于加速MRI重建Geor geYiasemis1，2，Jan-Jak obSonk e1，ClarisaSa'nchez2，JonasTeuwen1，21荷兰癌症研究所，2阿姆斯特丹大学{g.yiasemis，j.sonke，j.teuwen} @ nki.nl，{c.i....
GrappaNet: 深度学习与多线圈MRI重建
14315GrappaNet：将并行成像与深度学习结合用于多线圈MRI重建AnuroopSriram 1JureZbontar 1TullieMurrell 1C.劳伦斯·齐特尼克1亚伦·德法齐奥1丹尼尔·K. Sodickson21Facebook AI Research（FAIR）2纽约大学医摘要...
GQA阅读
weixin_42764932的博客
07-24 1053
多query注意(MQA)仅使用单个key头，大大加快了解码器推理速度。然而，MQA可能导致质量下降，而且仅仅为了更快的推理而训练一个单独的模型可能是不可取的。MHA（Multi-head Attention）是标准的多头注意力机制，h个Query、Key 和 Value 矩阵。
Group Query Attention (GQA) 机制详解以及手动实现计算
samoyan的博客,记录技术成长~
04-19 7957
Grouped-Query Attention (GQA) 是对 Multi-Head Attention (MHA) 和 Multi-Query Attention (MQA) 的扩展。通过提供计算效率和模型表达能力之间的灵活权衡，实现了查询头的分组。GQA将查询头分成了G个组，每个组共享一个公共的键（K）和值（V）投影。
【NLP】理解 Llama2：KV 缓存、分组查询注意力、旋转嵌入等
sikh_0529的博客
11-13 3863
是 Meta AI 的开创性作品，作为首批高性能开源预训练语言模型之一闯入了 AI 场景。值得注意的是，，尽管其尺寸只是其一小部分。您无疑听说过 LLaMA 令人印象深刻的性能，但您是否想知道是什么让它如此强大？图 1：原始 Transformer 和 LLama 之间的架构差异检查图 1 揭示了从原始 Transformer 到突破性的 LLaMA 架构的深刻转变。LLaMA 2.0 牢固地植根于 Transformer 框架的基础，但它引入了独特的创新——SwiGLU和。
Multi Query Attention和 Group Query Attention的介绍和原理
qq_40427481的博客
02-20 1162
另外，分组查询注意力(GQA)是MQA的更一般形式，于2023年提出，介于MQA和MHA之间，是模型预测表现和模型推理性能之间的一个折衷。举例来说，以ChatGLM2-6B为例，一共28层，32个注意力头，输入维度从4096经过Q、K、V矩阵映射维度为128，若采用原生多头注意力机制，则Q、K、V矩阵各有28×32个，而采用MQA的方式则整个模型包含28×32个Q矩阵，28×1个K矩阵，28×1个V矩阵。GQA是MQA的更一般形式，它介于MQA和MHA之间，是模型预测表现和模型推理性能之间的一个折衷。
GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints（理论+代码实现）
m0_48923489的博客
10-05 758
分组查询注意力的模型的能力与多头注意力的的模型能力相近而且推理速度和多查询注意力相近，等同于同时融合了两者的优点，但是注意，分组查询注意力并没有减少模型的计算量，只是优化的显存的换入换出，在解码过程中由于key和value的数量级远远小于query的数量级，所以在自回归解码时可以将已经计算出来的key和value一直高速缓存中，减少数据换入换出的次数，以此来提升速度。
MHA、MQA、GQA区别和联系
TFATS的博客
09-19 4050
MHA： Multi Head Attention MQA：Multi Query Attention GQA：Grouped Query Attention
Llama改进之——分组查询注意力
日积月累，天道酬勤
05-31 1989
本文介绍了分组查询注意力的实现以及如何应用旋转位置编码到分组查询注意力上。
GQA数据集介绍
qq_56551150的博客
03-13 1708
GQA，这是一个用于真实世界视觉推理和组合问答的新数据集。2200万个不同的推理问题，所有这些问题都带有表示其语义的功能程序。答案分布受到严格控制。11.3万张图像、2200万个问题，推理能力有对象和属性识别、传递关系跟踪、空间推理、逻辑推理和比较。
GQA: Training Generalized Multi-Query Transformer Models fromMulti-Head Checkpoints
麦格芬230的博客
07-20 1217
本文还介绍了分组查询注意力 (GQA)，这是一种广义的多查询注意力，它使用中间数量的键值头 （大于一个，小于查询头数）。多查询注意力（MQA）可以减少这种开销，仅使用单个键值头极大地加快了decoder推理速度，但会降低模型的容量和性能，并目不想为了更快的推理而单独训练一个模型。于是本文提出了一种方案，可以将现有的Multi-head 多头注意力模型升级为多查询注意力模型MQA，仅使用原始预训练计算量的5%。将所有头的键（key）和值（value）投影矩阵进行平均池化，合并成单个头部的矩阵。
大模型中的注意力机制——MHA、GQA、MQA
qq_42714262的博客
07-31 6296
GQA（Grouped-Query Attention，GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints）是分组查询注意力，GQA将查询头分成G组，每个组共享一个Key 和 Value 矩阵。与MHA不同的，MQA 让所有的头之间共享同一份 Key 和 Value 矩阵，每个头只单独保留了一份 Query 参数，从而大大减少 Key 和 Value 矩阵的参数量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值