大模型面经—GQA（Grouped Query Attention）和MHA、MQA的区别及代码

最新推荐文章于 2025-03-11 11:42:09 发布
最新推荐文章于 2025-03-11 11:42:09 发布
阅读量2.1k 收藏 12
点赞数 11
分类专栏： 大模型LLM面试指南 文章标签： 人工智能 深度学习 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_37574187/article/details/140271311
版权

大模型面经—GQA（Grouped Query Attention）和MHA、MQA的区别及代码

瓦力算法学研所 2024年07月07日 10:43 安徽

技术总结专栏

本篇介绍分组查询注意力机制。

在大模型技术中，GQA（Grouped Query Attention）是一种注意力机制，它介于MHA（Multi-Head Attention）和MQA（Multi-Query Attention）之间，旨在结合两者的优点，以实现在保持MQA推理速度的同时接近MHA的精度 。

MHA是一种基

了解本专栏 订阅专栏 解锁全文 超级会员免费看
MLA, MQA 和 GQA 区别和联系
强化学习曾小健
01-25 873
GQA 是对Multi-Head Attention (MHA) 和 MQA的扩展，通过将查询头分为多个组来共享键（K）和值（V）投影，从而提高计算效率并降低内存开销。每个组中的查询共享同一组 K 和 V，这样可以减少模型的参数数量和内存需求。
Llama3中的32个Transformer blocks意义；GQA（Grouped Query Attention）机制；nano-GPT中Transformer blocks的具体数量；
ZJQ的博客
08-06 122
Llama3中的32个Transformer blocks意义；GQA（Grouped Query Attention）机制；nano-GPT中Transformer blocks的具体数量；
MHA、MQA、GQA注意力的介绍和代码实现
AI前沿技术的分享！
02-11 1315
GQA-N 是指具有 N 组的 Grouped Query Attention。GQA-1具有单个组，因此具有单个Key 和 Value，等效于MQA。而GQA-H具有与头数相等的组，等效于MHA。GQA介于MHA和MQA之间。GQA 综合 MHA 和 MQA ，既不损失太多性能，又能利用 MQA 的推理加速。不是所有 Q 头共享一组 KV，而是分组一定头数 Q 共享一组 KV，比如上图中就是两组 Q 共享一组 KV。
理解 MHA、GQA、MQA 和 MLA：多头注意力的变种及其应用
lqq
02-25 1913
在深度学习、自然语言处理（NLP）和计算机视觉（CV）中，多头注意力（Multi-Head Attention, MHA）是 Transformer 结构的核心。近年来，MHA 产生了多个变体，如和，这些改进主要用于提高计算效率和减少计算开销。本文将深入探讨这些注意力机制的工作原理、数学公式、优缺点及应用场景，帮助理解Transformer 及其改进版本。
MHA、MQA、GQA、MLA
qq_38781359的博客
03-11 1166
方法QK/V计算效率模型容量MHA每个头独立每个头独立低高MQA每个头独立全局共享高低GQA每个头独立组内共享中中MQA适合推理加速（如 LLama-2 70B 使用 MQA）。GQA在保持较高性能的同时减少计算（如 LLama-3 使用 GQA）。MHA适用于对性能要求极高的场景。
【AI学习】Transformer深入学习（二）：从MHA、MQA、GQA到MLA
bylander的博客
01-04 1853
从MHA、MQA、GQA到MLA的简单分析和对比
GQA分组注意力机制
weixin_40777649的博客
04-28 2050
【代码】GQA分组注意力机制。
Group Query Attention (GQA) 机制详解以及手动实现计算
热门推荐
samoyan的博客,记录技术成长~
04-19 1万+
Grouped-Query Attention (GQA) 是对 Multi-Head Attention (MHA) 和 Multi-Query Attention (MQA) 的扩展。通过提供计算效率和模型表达能力之间的灵活权衡，实现了查询头的分组。GQA将查询头分成了G个组，每个组共享一个公共的键（K）和值（V）投影。
Grouped-Query Attention（GQA）详解: Pytorch实现
阿正的梦工坊
02-23 1943
GQA+KV Cache
LLM - GQA 之 Group Query Attention 论文与源码精读
BITDDD小栈
08-06 1225
GQA 之 Group Query Attention 详解。
MHA(Multi-Head Attention) 与GQA(Grouped Query Attention)的区别
2301_79093491的博客
10-31 978
特点：每个头都有独立的查询、键和值投影矩阵，最大化模型的表达能力。优点：能够捕获输入序列中丰富的特征，适用于对性能要求高的场景。缺点：参数量大，计算复杂度高，对资源要求较高。
Grouped-query Attention(GQA)、Multi-query Attention(MQA)、Multi-Head Latent Attention (MLA)
taoqick的专栏
02-12 931
Grouped-query attention an interpolation of multi-query and multi-head attention that achieves quality close to multi-head at comparable speed to multi-query attention.
MHA、MQA、GQA区别和联系
TFATS的博客
09-19 6471
MHA： Multi Head Attention MQA：Multi Query Attention GQA：Grouped Query Attention
大模型都在用的GQA是什么
weixin_43457608的博客
05-12 1632
Multi-query attention（MQA）只使用一个键值头，大大加快了解码器推理。然而，MQA可能导致质量下降，而且不为了更快的推断而训练一个单独的模型。我们提出了一个方法，将现有的多头语言模型检查点升级成MQA模型，引入分组查询注意（GQA），一种多查询注意的泛化，使用一个中间（多于一个，少于查询头数量）的键值头。我们表明，向上训练的GQA以接近MQA的速度达到接近多头注意力的质量。MHA（Multi-head Attention）是Google团队在 2017 年在。
【LLM】一文详解MHA、GQA、MQA原理
lyy2017175913的博客
10-19 2260
本文回顾一下MHA、GQA、MQA，详细解读下MHA、GQA、MQA这三种常见注意力机制的原理。图1 MHA、GQA、MQA一览。
大模型中的注意力机制——MHA、GQA、MQA
qq_42714262的博客
07-31 8676
GQA（Grouped-Query Attention，GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints）是分组查询注意力，GQA将查询头分成G组，每个组共享一个Key 和 Value 矩阵。与MHA不同的，MQA 让所有的头之间共享同一份 Key 和 Value 矩阵，每个头只单独保留了一份 Query 参数，从而大大减少 Key 和 Value 矩阵的参数量。
AI大模型面经—GQA（Grouped Query Attention）和MHA、MQA的区别及代码
嘴巴吃糖了
09-14 1157
在大模型技术中，GQA（Grouped Query Attention）是一种注意力机制，它介于MHA（Multi-Head Attention）和MQA（Multi-Query Attention）之间，旨在结合两者的优点，以实现在保持MQA推理速度的同时接近MHA的精度 。
大模型学习-GQA、MQA、MHA
fj1024的博客
07-16 736
而每个注意力头都有自己的感知域，可以独立学习输入中的不同特性。事实上，不同的”头“可以分别专注于词序列的不同方面，语义、语法。从 MHA 到 MQA 将 H 键和值头减少到单个键和值头，减少了键值缓存的大小，因此需要加载的数据量 H 倍。MQA是MHA的变体，不同的是MQA让所有的头之间共享同一份Key和Value矩阵，每个头只单独保留一份query参数，从而大大减少了Key和Value矩阵的参数量，以此达到提升推理速度，但是会带来精度的损失。注意力机制的核心概念在于把不同的重要性赋予输入的不同部分。
探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（四）分组多查询注意力
段智华的博客
04-26 1084
探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（四）分组多查询注意力。
LLM的自注意力
最新发布
03-22
### 自注意力机制在LLM中的工作原理 ...除了标准的多头注意力外，还有更高效的变体比如 GQA(Grouped Query Attention)。它试图平衡速度与质量间的差异，即尝试接近 MHA 质量水平下达到类似于 MQA 的效率增益效果。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

强化学习曾小健

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值