【AI学习】Transformer深入学习（二）：从MHA、MQA、GQA到MLA

已于 2025-01-18 22:31:54 修改
阅读量1.8k 收藏 30
点赞数 21
分类专栏： AI学习 AI论文阅读 文章标签： 人工智能 学习 transformer
于 2025-01-04 23:30:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bylander/article/details/144546506
版权

前面文章：
《Transformer深入学习（一）：Sinusoidal位置编码的精妙》

一、MHA、MQA、GQA

为了降低KV cache，MQA、GQA作为MHA的变体，很容易理解。
多头注意力（MHA）：
多头注意力是一种在Transformer架构中广泛使用的注意力机制，通过将查询、键和值分别投影到多个不同的空间上，然后并行计算这些空间上的注意力得分，从而获得更加丰富和细致的特征表示。

多查询注意力（MQA）：
多查询注意力是MHA的一种变种，它通过共享单个key和value头来提升性能，但可能会导致质量下降和训练不稳定。MQA在保持速度的同时提高了模型的推理效率，但在某些情况下可能无法达到与MHA相同的效果。

分组查询注意力（GQA）：
分组查询注意力是MQA和MHA之间的过渡方法，旨在同时保持MQA的速度和MHA的质量。GQA通过使用中间数量的键值头（大于一个，小于查询头的数量），实现了性能和速度的平衡。具体来说，GQA通过分组的方式减少了需要处理的头数，从而降低了内存需求和计算复杂度。

分组查询注意力（Grouped-Query Attention，简称GQA）是一种用于提高大模型推理可扩展性的机制。其具体实现机制如下：

1、基本概念：GQA是多头

最低0.47元/天 解锁文章
从MHA、MQA、GQA到MLA
步子哥的博客
08-18 1105
尤其是在长上下文的情况下，KV Cache的大小会随着输入长度的增加而增长，从而影响了模型的推理速度和资源消耗。通过对MHA、MQA、GQA和MLA的分析，我们可以看到，随着技术的发展，模型设计不断优化，以应对现实应用中的各种挑战。这篇文章详细介绍了从MHA到MLA的演变过程，强调了在推理过程中缓存的重要性，以及如何通过不同的模型设计来减少缓存的需求。，显著降低了显存的占用。在推理阶段，MLA通过共享K和V的方式，将KV Cache的大小保持在合理范围内，从而避免了MHA带来的显存瓶颈。
【技术名词解读】图解注意力机制发展：MHA→MQA→GQA→MLA
强化学习曾小健
02-21 940
1.背景在 Transformer 模型中，注意力机制是核心组件之一。传统的为每个头（head）分配独立的查询（Query）、键（Key）和值（Value），虽然表达能力强大，但计算和内存开销较高。而通过共享键和值，显著减少了计算量，但可能会损失一定的表达能力。通过分组共享键和值，既降低了计算开销，又保留了较强的表达能力。2.GQA 的核心思想GQA 的核心思想是将查询（Query）分成若干组，每组共享相同的键（Key）和值（Value）。
缓存与效果的极限拉扯：从MHA、MQA、GQA到MLA
Paper weekly
05-18 5094
©PaperWeekly 原创 ·作者 | 苏剑林单位 | 科学空间研究方向 | NLP、神经网络前几天，幻方发布的 DeepSeek-V2[1] 引起了大家的热烈讨论。首先，最让人哗然的是 1 块钱 100 万 token 的价格，普遍比现有的各种竞品 API 便宜了两个数量级，以至于有人调侃“这个价格哪怕它输出乱码，我也会认为这个乱码是一种艺术”；其次，从模型的技术报告看，如此便宜的价格背...
理解 MHA、GQA、MQA 和 MLA：多头注意力的变种及其应用
lqq
02-25 1852
在深度学习、自然语言处理（NLP）和计算机视觉（CV）中，多头注意力（Multi-Head Attention, MHA）是 Transformer 结构的核心。近年来，MHA 产生了多个变体，如和，这些改进主要用于提高计算效率和减少计算开销。本文将深入探讨这些注意力机制的工作原理、数学公式、优缺点及应用场景，帮助理解Transformer 及其改进版本。
注意力机制进化史：从MHA、MQA、GQA、MLA到NSA、MoBA！
AI前沿技术的分享！
02-21 1867
注意力机制进化史：从MHA、MQA、GQA、MLA到NSA、MoBA，新一代注意力机制的极限突破！
MHA、MQA、GQA、MLA
qq_38781359的博客
03-11 1151
方法QK/V计算效率模型容量MHA每个头独立每个头独立低高MQA每个头独立全局共享高低GQA每个头独立组内共享中中MQA适合推理加速（如 LLama-2 70B 使用 MQA）。GQA在保持较高性能的同时减少计算（如 LLama-3 使用 GQA）。MHA适用于对性能要求极高的场景。
【LLM】(KV cache优化)MHA、MQA、GQA、MLA、YOCO机制的区别
发现问题，并解决问题，批判性思维
02-16 3542
MHA机制（Multi-head Attention） MHA（Multi-head Attention）是标准的多头注意力机制，包含h个Query、Key 和 Value 矩阵。所有注意力头的 Key 和 Value 矩阵权重不共享 MQA机制（Multi-Query Attention） MQA（Multi-Query Attention，Fast Transformer Decoding: One Write-Head is All You Need）是多查询注意力的一种变体，也是用于自回归解码的一
MHA & MQA & GQA & MLA
comli_cn的博客
12-20 976
引入多头注意力机制是为了让每个注意力机制去优化每个词汇的不同特征部分，从而均衡同一种注意力机制可能产生的偏差，从而增强模型的表达能力。因为Transformer的encoder和decoder两个部分结构不同，在计算多头注意力时也会有些许不同。
MLA, MQA 和 GQA 区别和联系
强化学习曾小健
01-25 870
GQA 是对Multi-Head Attention (MHA) 和 MQA的扩展，通过将查询头分为多个组来共享键（K）和值（V）投影，从而提高计算效率并降低内存开销。每个组中的查询共享同一组 K 和 V，这样可以减少模型的参数数量和内存需求。
探秘节能推理：从多头注意力MHA到深度MLA的转变
步子哥的博客
03-14 471
在人工智能日新月异的时代，大型语言模型（LLMs）的迅猛发展让我们看到了通往通用人工智能（AGI）的曙光。然而，伴随着参数数量和模型能力的不断提升，随之而来的却是推理能耗的急剧攀升以及内存“绑架”问题。今天，我们要讲述的正是如何利用一种全新的架构——多头潜能注意力（MLA），借助数据高效的微调技术，让原本训练自多头注意力（MHA）的模型以极低的成本转变，达到大幅度压缩 KV 缓存并节省资源的目标。
MLA（Multi-head Latent Attention）架构
百态老人的博客
12-25 3217
MLA（Multi-head Latent Attention）是一种创新的注意力机制，旨在优化Transformer模型中的多头注意力（MHA）结构，特别是在推理阶段的效率和资源消耗方面。MLA是对传统多头注意力机制（MHA）的重要改进。在MHA中，每个注意力头都需要缓存独立的键（Key）和值（Value）矩阵，这在推理时会显著增加内存和计算开销。而MLA通过低秩联合压缩键值（Key-Value），将它们压缩为一个潜在向量（latent vector），从而大幅减少所需的缓存容量。
语义分割任务中的Transformer
记录
10-15 5484
Transformer在语义分割领域的研究和思考
Transformer系列：注意力机制的优化，MQA和GQA原理简述
2401_85327249的博客
06-05 2229
多查询注意力(MQA)、分组查询注意力(GQA)是Transformer中多头注意力(MHA)的变种，它们大幅提高了解码器的推理效率，在LLaMA-2，ChatGLM2等大模型中有广泛使用，本篇介绍MQA、GQA的原理并分析其源码实现。
多头注意力机制的创新优化：MLA架构解析
Xs_20240309的博客
02-09 1577
MLA（Multi-head Latent Attention）架构是对Transformer模型中多头注意力（MHA）结构的创新优化，旨在提高推理阶段的效率并降低资源消耗。传统MHA中，每个注意力头需独立存储键和值矩阵，导致内存与计算成本增加。MLA通过低秩联合压缩技术，将键值对压缩为一个潜在向量，显著减少缓存容量需求，从而优化了推理效率和资源利用。MLA（Multi-head Latent Attention）架构通过对多头注意力机制的创新性优化，显著提升了推理效率并降低了资源消耗。
最新研究：深度解析DeepSeek模型6大核心技术！
最新发布
大模型研究中心
03-22 962
DeepSeek团队对传统Transformer架构进行关键优化，引入MLA机制。该方法通过在注意力头间引入隐变量交互，解决了标准Transformer中注意力头独立计算导致的局部信息割裂问题。具体而言，MLA允许不同注意力头通过共享的潜在空间进行信息融合，使模型能更高效捕捉跨层、跨头的长程依赖关系。实验显示，MLA将模型在长文本生成任务中的连贯性提升23%，同时仅增加5%的计算量。
深度学习中的注意力机制革命：MHA、MQA、GQA至DeepSeek MLA的演变
Androiddddd的博客
02-24 1048
从MHA到MQA、GQA，再到MLA，注意力机制的演变展示了在效率与性能之间不断优化的轨迹。MLA通过创新的KV缓存压缩和恢复机制，实现了在资源消耗、推理速度和模型性能之间的最佳平衡，为大语言模型的高效部署和应用提供了新的可能性。
MLA——一文通透DeepSeek V2中的多头潜在注意力MLA：改进MHA，从而压缩KV缓存，提高推理速度(含让任何LLM都能用上MLA的方法)
热门推荐
结构之法 算法之道
08-26 3万+
成就本文有以下三个因素校长最近开始搞deepseek了吗？刚看了论文，没搞懂MLA那块的cache是怎么算的，我总觉得他的效果应该类似MQA才对，但是反馈是挺好的目前团队项目上的事情太多，然后近期在写那个KAN确实还没来得及看这个deepseek，我近期看下而搞之前——近几天，会先写一下它的论文解读，故本文就来了且一如既往做到，对于几乎每一个主题，都做到本博客万千读者或七月学员所说的：“还是看校长的文章好理解”，如有任何问题或任何不懂的地方，可以随时留言/评论，我会找时间尽快回复。
deepseek技术解读(1)-彻底理解MLA（Multi-Head Latent Attention）
zenRRan的博客
01-15 1万+
知乎：姜富春（已授权）链接：https://zhuanlan.zhihu.com/p/16730036197编辑：「深度学习自然语言处理」公众号引言deepseek最近比较出圈，本人也一直关注deepseek发布的一些技术报告。在模型训练、推理性能和计算成本上一直能给大家惊喜。读了deepseek的技术报告，我个人有两个比较强的感受。第一：deepseek在模型细节上扣的比较极致，魔改了一些模型框...
MHA，GQA，MLA
02-13
### MHA、GQA 和 MLA 的区别及应用场合 #### 多头注意力机制（Multi-Head Attention, MHA） 多头注意力机制允许模型在不同的表示子空间中并行关注不同位置的信息。每个头独立操作，最终结果通过拼接各头的结果来获得更丰富的特征表达[^1]。 ```python import torch.nn as nn class MultiHeadAttention(nn.Module): def __init__(self, embed_size, num_heads): super(MultiHeadAttention, self).__init__() self.embed_size = embed_size self.num_heads = num_heads # 定义线性变换层 self.query_linear = nn.Linear(embed_size, embed_size) self.key_linear = nn.Linear(embed_size, embed_size) self.value_linear = nn.Linear(embed_size, embed_size) def forward(self, query, key, value): batch_size = query.size(0) # 对输入进行线性变换 Q = self.query_linear(query) K = self.key_linear(key) V = self.value_linear(value) # 将嵌入维度分割成多个头 Q = Q.view(batch_size, -1, self.num_heads, self.embed_size // self.num_heads).transpose(1, 2) K = K.view(batch_size, -1, self.num_heads, self.embed_size // self.num_heads).transpose(1, 2) V = V.view(batch_size, -1, self.num_heads, self.embed_size // self.num_heads).transpose(1, 2) # 计算注意力分数并加权求和 scores = torch.matmul(Q, K.transpose(-2, -1)) / (self.embed_size ** 0.5) attention_weights = F.softmax(scores, dim=-1) output = torch.matmul(attention_weights, V) # 合并头部并将结果传递给下一个线性层 output = output.transpose(1, 2).contiguous().view(batch_size, -1, self.embed_size) return output ``` #### 组化查询注意力机制（Grouped Query Attention, GQA） 为了减少计算量，GQA引入了查询分组的概念，即某些查询可以共享相同的键和值矩阵。这减少了重复计算的数量，在大规模数据集上尤其有效[^3]。 ```python class GroupedQueryAttention(nn.Module): def __init__(self, embed_size, num_groups, heads_per_group): super(GroupedQueryAttention, self).__init__() self.embed_size = embed_size self.num_groups = num_groups self.heads_per_group = heads_per_group # 初始化参数... def forward(self, queries, keys, values): # 实现GQA的具体逻辑... pass ``` #### 压缩键值注意力机制（Compressed Key/Value Attention, MLA） MLA进一步优化了资源利用效率，通过对键和值向量实施低秩近似压缩处理，从而显著降低了存储开销以及前向传播过程中的运算复杂度。 $$K_{\text{compressed}} = U_K \cdot S_K \cdot V_K^T$$ $$V_{\text{compressed}} = U_V \cdot S_V \cdot V_V^T$$ ```python from scipy.linalg import svd def compress_matrix(matrix, rank): u, s, vh = svd(matrix) compressed = np.dot(u[:, :rank], np.dot(np.diag(s[:rank]), vh[:rank, :])) return compressed class CompressedKeyValueAttention(nn.Module): def __init__(self, embed_size, compression_rank): super(CompressedKeyValueAttention, self).__init__() self.compress_key = lambda k: compress_matrix(k, compression_rank) self.compress_value = lambda v: compress_matrix(v, compression_rank) # 其他初始化... def forward(self, queries, keys, values): compressed_keys = self.compress_key(keys) compressed_values = self.compress_value(values) # 使用压缩后的keys和values继续执行标准的注意力机制... pass ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

bylander

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值