Transformer-Attention优化：Multi-Query Attention（更高效的推理）

已于 2023-08-19 21:32:28 修改
阅读量466 收藏
点赞数
分类专栏： # LLM/Transformer 文章标签： 人工智能 自然语言处理 深度学习
于 2023-08-19 20:55:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/132384065
版权
MQA（Multi-Query Attention）是Transformer模型的一种优化，它通过共享Key和Value权重，减少了参数量，提高了Decoder的推理速度。虽然在效果上略有下降，但在大模型和Decoder生成任务中，MQA能显著提升效率。论文和实验证明，MQA在Decoder上的速度提升尤其明显，尤其是在长序列生成任务中。
摘要由CSDN通过智能技术生成
论文地址： Fast Transformer Decoding: One Write-Head is All You Need 

MQA的思想其实比较简单(如果对MHA比较熟悉的话)，论文中给出的描述如下：

可以看到MHQ和MQA的不同之处仅仅在于每个头共享相同的K、V权重而Q不同享。

模型效果论文对比如下：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
MultiHead-Attention和Masked-Attention的机制和原理
iioSnail的博客
07-18 2万+
二. MultiHead Attention 2.1 MultiHead Attention理论讲解 2.2. Pytorch实现MultiHead Attention 三. Masked Attention 3.1 为什么要使用Mask掩码 3.2 如何进行mask掩码 3.3 为什么是负无穷而不是0
Transformer之MQA：多查询注意力(Multi-Query Attention,MQA)的概述(论文+原理等)、代码实现、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
03-05 1220
Transformer之MQA：MQA的概述、代码实现、案例应用之详细攻略 目录 相关论文 《Fast Transformer Decoding: One Write-Head is All You Need》翻译与解读 Abstract MQA技术的概述 MQA的代码实现 T1、MQA在 llm-foundry 中的实现 MQA的案例应用 相关论文 《Fast Transformer Decoding: One Write-Head is All You Need
LLM推理入门指南②：深入解析KV缓存
OneFlow深度学习框架
03-28 4223
在本系列文章《LLM推理入门指南①：文本生成的初始化与解码阶段》中，作者对Transformer解码器的文本生成算法进行了高层次概述，着重介绍了两个阶段：单步初始化阶段，即提示的处理阶段，和逐个生成补全词元的多步生成阶段。本文进一步探讨了LLM推理的挑战 —— 第一大挑战是，注意力层（也称为自注意力层）与总序列长度（提示词元和生成补全词元）的计算成本呈二次方扩展的问题。幸运的是，生成步骤之间的许多...
Multi-Attention Multi-Class Constraint for Fine-grained Image Recognition
qq_38284961的博客
03-05 711
Multi-Attention Multi-Class Constraint for Fine-grained Image Recognition 文中贡献概览 文中首次使用了对每一张图片多attention区域特征提取。这种提取基于OSME，并且应用到度量学习中。 MAMC将相同attention 中的相同类别更加接近，不同attention 或者不同类别差别较大。 ...
Multi-Attention Convolutional Network笔记
tanglinjie的CSDN博客
05-30 2062
此篇文章记录2017年的ICCV一篇关于图像领域的注意力模型（《Learning Multi-Attention Convolutional Neural Network for Fine-Grained Image Recognition》） Approach 整个结构由三部分组成，分别是特征提取的卷积层、channel grouping层和part classifier 组成。 提出了两个...
Multi-Attention(CBAM和deepmoji的集合使用）.rar
08-17
基于Convolutional Block Attention Module (CBAM)的Multi-Attention模型设计与实现。模型本质上是并行添加了 CBAM 和 DeepMoji 注意力机制，并在最后将它们的特征进行合并。
Multi-Head Attention的讲解
热门推荐
qq_41980734的博客
10-19 1万+
Multi-Head Attention的讲解 一、什么是 Attention Attention机制最早是在视觉图像领域提出来的，应该是在九几年思想就提出来了，但是真正火起来应该算是2014年google mind团队的这篇论文《Recurrent Models of Visual Attention》，他们在RNN模型上使用了attention机制来进行图像分类。2017年，google机器翻译团队发表的《Attention is all you need》中大量使用了自注意力（self-attenti
基于Convolutional Block Attention Module (CBAM)的Multi-Attention模型设计与实现
haosen
08-17 945
本文主要介绍的 Multi-Attention 方法只是一个研究思路。只是尝试了在基本模型的顶部集成多注意力机制。 其Multi-Attention模型结构如下所示： 模型本质上是并行添加了 CBAM 和 DeepMoji 注意力机制，并在最后将它们的特征进行合并。 此外，我们通过集成全局加权平均池 (GWAP) 方法，对 CBAM 机制及其空间模块的末尾部分进行了修改。 经过对该模型的输出，我们将Output特征放入全连接的神经网络模型中进行最终的模型训练。 其结构图如下： 为了验证模.
（参考写法）Transformer-Based Visual Segmentation:A Survey
sinat_41942180的博客
11-04 366
视觉分割旨在将图像、视频帧或点云分割为多个片段或组。这种技术具有许多现实世界的应用，如自动驾驶、图像编辑、机器人感知和医学分析。（视觉分割定义+应用举例）在过去的十年里，基于深度学习的方法在这个领域取得了显著的进展。（之前是基于什么发展的）最近，Transformer成为一种基于自注意力机制的神经网络，最初设计用于自然语言处理，在各种视觉处理任务中明显超越了以往的卷积或循环方法。（提出本文要用的方法Transformer）
Multi-Head Attention和Multi-Query Attention的计算分析
wentinghappyday的博客
08-17 2728
Multi-Head Attention、Multi-Query Attention的实现伪代码解读，计算量解读和显存占用量解读
论文阅读笔记 | (ECCV 2018 Oral) Multi-Attention Multi-Class Constraint for Fine-grained Image Recognition
z止于至善的博客
09-06 2836
论文来自百度研究院，文章研究的主题是细粒度图像分类。 论文下载：Multi-Attention Multi-Class Constraint for Fine-grained Image Recognition Abstract 1. 现有方法存在的问题和挑战 对于细粒度图像识别（fine-grained image recognition），基于注意力学习（attention-based...
机器翻译之多头注意力（MultiAttentionn）在Seq2Seq的应用
最新发布
Hiweir的博客
09-20 562
【代码】机器翻译之多头注意力（MultiAttentionn）在Seq2Seq的应用。
详解Transformer （Attention Is All You Need）
qq_26815437的博客
09-18 346
前言 注意力（Attention）机制[2]由Bengio团队与2014年提出并在近年广泛的应用在深度学习中的各个领域，例如在计算机视觉方向用于捕捉图像上的感受野，或者NLP中用于定位关键token或者特征。谷歌团队近期提出的用于生成词向量的BERT[3]算法在NLP的11项任务中取得了效果的大幅提升，堪称2018年深度学习领域最振奋人心的消息。而BERT算法的最重要的部分便是本文中提出的Transformer的概念。 正如论文的题目所说的，Transformer中抛弃了传统的CNN和RNN，整个网络结
numpy实现multi-attention层的前向传播和反向传播
邹九的个人博客
07-23 497
transformer当前主要的结构是attention层，最开始的时候，transformer在NLP内使用的结构，而图像vision则是多使用CNN网络，convolution用的比较多，而且主要是使用anchor框来逐像素点进行检测和分类，虽然当前的图像vision也有anchor-free的网络，但总体来看的话，还是anchor框的网络结构会更好些，transformer应用在图像vision，是从vision-transformer开始的。
论文阅读 - 《Relation Classification via Multi-Level Attention CNNs》
时光杂货店
11-14 6526
作者：xg123321123出处：http://blog.csdn.net/xg123321123/article/details/553163257声明：版权所有，转载请联系作者并注明出处1 问题定义关系提取用于从文本中抽取结构化事实。2 背景综述3 方法概述将attention机制加入到神经网络中，对于反映实体关系更重要的词语给予更大的权重，辅以改进后的目标函数，从而提高关系提取的效果。 整体
Transformer解码加速
liuge19860920的博客
12-27 1791
参考文章 Fast Transformer Decoding: One Write-Head is All You Need 问题分析 1、transformer训练很快，因为decoder只需要一次，但推断却很慢，因为前一个推断要作为下一个推断的输入 2、作为认为慢的原因是重复载入key和value导致的内存带宽消耗 这里是引用 While training these layers is g...
2019.12.13 note
PKU_ZZY的博客
12-12 999
2019.12.13 note Fast Transformer Decoding: One Write-Head is All You Need They have proposed an alternative to multi-head attention - multi-query attention, with much lower memory bandwidth requir...
大模型中的注意力机制——MHA、GQA、MQA
qq_42714262的博客
07-31 6461
GQA（Grouped-Query Attention，GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints）是分组查询注意力，GQA将查询头分成G组，每个组共享一个Key 和 Value 矩阵。与MHA不同的，MQA 让所有的头之间共享同一份 Key 和 Value 矩阵，每个头只单独保留了一份 Query 参数，从而大大减少 Key 和 Value 矩阵的参数量。
Multi-Query Attention 阅读笔记
Talk Is Cheap
06-26 1436
核心贡献：优化 multi-head attention 为 multi-query attention，减少多head相关运算，不降低精度 且 大幅提升解码速度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值