深度解析新型attention注意力机制Group Query Attention(GQA)为什么能给LLM decoder带来极大推理加速

已于 2024-03-19 22:37:55 修改
阅读量1.2k 收藏 11
点赞数 8
文章标签： 人工智能 深度学习 算法 pytorch
于 2024-02-27 09:05:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43568400/article/details/136313244
版权
GQA是一种解决MQA在推理速度和质量之间平衡问题的注意力机制，它通过调整group数量在MHA和MQA之间找到平衡。GQA减少了KV缓存的大小，从而增大LLM服务的批处理大小，提高吞吐量。在实际应用中，如llama2和falcon，GQA通过优化内存使用和降低broadcast操作的开销，实现了推理性能的显著提升。
摘要由CSDN通过智能技术生成

GQA是2023年发表的一篇paper提出的idea，目前用在了llama2、falcon等LLM上。paper一般都篇幅众多，老规矩，本文总结出最精华的部分:) 原文首发于我的公众号"AI不止算法"，文章链接在此

动机

GQA的动机主打的是MQA（multi query attention）会导致quality degradation，我们不希望仅仅是推理快，而且还希望quality可以对标MHA，所以GQA带着这个使命诞生，可以很好的做到这个balance。MQA的动机主要在于key和value的数量是随着头数量成正比，那么尤其在decoder inference的过程中，本身就是一个memory bound的过程，这下更加memory bound了，带宽的压力山大，速度快不起来，所以呢，减少头的数量，减少kv cache的size，达到减小带宽的压力的目的，那么MQA推理速度势必更快。

概念

在19年的时候也有一篇paper提出了一个叫做MQA（multi query attenti

最低0.47元/天 解锁文章
不归牛顿管的熊猫
关注
  • 8
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mac-network：论文《机器推理的组合注意网络》的实现（Hudson和Manning，ICLR 2018）
02-06
现实推理中的组合注意力网络 Drew A.Hudson和Christopher D.Manning 请注意：我们已将截止日期更新为5月15日。祝您好运！ :) 这是针对两个视觉推理数据集的（ICLR 2018）： 和New （ ）。 我们提出了一个完全可微...
Transformer 从attention到grouped query attention (GQA)
LuchangLi 的专栏
05-28 972
Transformer 从Attention到grouped query attention (GQA)
大模型中常用的注意力机制GQA详解以及Pytorch代码实现
deephub
04-03 4226
分组查询注意力 (Grouped Query Attention) 是一种在大型语言模型中的多查询注意力 (MQA) 和多头注意力 (MHA) 之间进行插值的方法，它的目标是在保持 MQA 速度的同时实现 MHA 的质量。这篇文章中，我们将解释GQA的思想以及如何将其转化为代码。
Transformer系列：注意力机制的优化，MQA和GQA原理简述
最新发布
2401_85327249的博客
06-05 1081
多查询注意力(MQA)、分组查询注意力(GQA)是Transformer中多头注意力(MHA)的变种，它们大幅提高了解码器的推理效率，在LLaMA-2，ChatGLM2等大模型中有广泛使用，本篇介绍MQA、GQA的原理并分析其源码实现。
GQA分组注意力机制
weixin_40777649的博客
04-28 1125
【代码】GQA分组注意力机制。
Grouped-query Attention(GQA)、Multi-query Attention(MQA)
taoqick的专栏
02-12 382
Grouped-query attention an interpolation of multi-query and multi-head attention that achieves quality close to multi-head at comparable speed to multi-query attention.
Multi Query Attention & Group Query Attention
Swift's Blog
09-13 2778
Multi Query Attention(MQA)在2019年就被提出来了，用于推理加速，但在当时并没有受到很多关注，毕竟一张2080就能跑Bert-base了。随着LLM的大火，MQA所带来的收益得以放大。more。
Grouped Query Attention论文阅读
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
08-06 1326
Google在2023年发表的一篇关于Transformer Attention的论文，整体论文写的清晰易读，思想简单但很好用。论文名字简写是GQA
Group Query Attention (GQA) 机制详解以及手动实现计算
samoyan的博客,记录技术成长~
04-19 3859
Grouped-Query Attention (GQA) 是对 Multi-Head Attention (MHA) 和 Multi-Query Attention (MQA) 的扩展。通过提供计算效率和模型表达能力之间的灵活权衡，实现了查询头的分组。GQA将查询头分成了G个组，每个组共享一个公共的键（K）和值（V）投影。
ResGANet: Residual group attention network for medical image classification and segmentation
Acmer_future_victor的博客
09-26 2173
本文提出了一种模块化的组注意块，可以在两个独立的维度：通道和空间中捕获医学图像中的特征依赖关系。通过以 ResNet 样式堆叠这些组注意块，我们获得了一个新的 ResNet 变体，称为 ResGANet
Multi Query Attention和 Group Query Attention的介绍和原理
qq_40427481的博客
02-20 881
另外，分组查询注意力(GQA)是MQA的更一般形式，于2023年提出，介于MQA和MHA之间，是模型预测表现和模型推理性能之间的一个折衷。举例来说，以ChatGLM2-6B为例，一共28层，32个注意力头，输入维度从4096经过Q、K、V矩阵映射维度为128，若采用原生多头注意力机制，则Q、K、V矩阵各有28×32个，而采用MQA的方式则整个模型包含28×32个Q矩阵，28×1个K矩阵，28×1个V矩阵。GQA是MQA的更一般形式，它介于MQA和MHA之间，是模型预测表现和模型推理性能之间的一个折衷。
gqa-node-properties:从知识图中调用节点属性
05-03
图问答：节点属性此代码库执行基本的图形问题答案（GQA）任务：调用节点属性。 数据集是由GQA元组综合生成的，其中每个图都是一个，每个问题都询问该网络中特定站点的属性。 为简单起见，已使用随机整数来命名工作站...
大模型结构介绍，从Transformer到llama，再到llama2
10-30
Transformer由Vaswani等人在2017年提出，它的核心在于自注意力(self-attention)机制，使得模型能够考虑输入序列中的全局依赖关系，从而在语言建模和机器翻译等任务中取得了突破性的成果。 Transformer的Decoder部分...
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
09-23
本地部署开源大模型的完整教程 LangChain + Streamlit+ LLaMA 本教程旨在指导开发人员如何在本地部署开源的大型语言模型（LLM），并使用LangChain、Streamlit和LLaMA等工具来创建交互式应用程序。以下是教程中涉及...
CogVLM是一个功能强大的开源可视化语言模型+人工智能+计算机视觉+自然语言处理
11-07
- CogVLM-17B在NoCaps、Flicker30k字幕、RefCOCO、RefCOCO+、refcococo、Visual7W、GQA、ScienceQA、VizWiz VQA和TDIUC等10个经典跨模式基准测试中实现了最先进的性能，在VQAv2、OKVQA、TextVQA、COCO字幕等方面排名...
从内存墙到高效计算｜如何提升大模型在推理中的计算速度：MQA、GQA优化策略...
08-27 1540
好几周前读完 GQA 论文就想写的，但一直拖着。直到最近 LLAMA2，还有 NV 小伙伴问到我这一点，我解释了下，他让我顺便写下来写成一篇文章吧。我想着推导一下 MQA 就好了，但发现这个话题并没那么简单，这是由一系列限制导致的优化，涉及到模型结构甚至涉及到硬件，我个人最开始也没看懂 MQA 操作。于是一写就各种瞎扯了。MQA，全称 Multi Query Attention, 而 GQA 则是...
VSR_TGA：Video Super-resolution with Temporal Group Attention阅读
造未来
11-23 764
这是CVPR2020的一篇视频超分辨文章，由清华和华为公司联合完成。 代码链接：https://github.com/junpan19/VSR_TGA ** 文章思路 ** 文章主要特点是提出一个分组分层提取时间信息的策略。 具体的实现过程： 1）首先讲=将输入的视频帧根据到目标帧的距离远近，分为不同的组别，比如七帧的输入[1，2，3，4，5，6，7]，分组后的结果是[1,4,7]，[2,4,6]，[3,4,5]，每一组中都含有目标帧，这是必须的，不然无法指导目标帧有效的超分。（这种分组效果相当于产生了不.
最强英文开源模型Llama2架构与技术细节探秘
Steve Wang's blog
11-20 1346
llama2、llama-chat、llama-code
注意力(Attention)机制概述
qq_42835363的博客
04-24 2175
​ 在视觉方面，注意力机制的核心思想是突出对象的某些重要特征。【从关注全部到关注重点】​ 注意力机制的目的可以认为是在深度神经网络的结构设计中，对某些权重添加注意力。可以理解为再增加一层权重，重要的部分这个权重设的大一点，不重要的部分设的小一点。【参数少+速度快+效果好】​ 视觉注意力分为几种，核心思想是基于原有的数据找到其之间的关联性，然后突出其某些重要特征，有通道注意力，像素注意力，多阶注意力等，也有把NLP中的自注意力引入。
queryWrapper group by
08-16
`QueryWrapper` 是 MyBatis-Plus 框架中提供的一个查询条件构造器，用于构建 SQL 查询语句的条件部分。`group by` 是 SQL 语句中用于对查询结果进行分组的关键字。 在 MyBatis-Plus 中，可以使用 `QueryWrapper` 来构建带有 `group by` 的查询语句。以下是一个示例： ```java import com.baomidou.mybatisplus.core.conditions.query.QueryWrapper; import com.baomidou.mybatisplus.core.toolkit.Wrappers; import com.example.entity.User; import com.example.mapper.UserMapper; public class GroupByExample { private final UserMapper userMapper; public GroupByExample(UserMapper userMapper) { this.userMapper = userMapper; } public List<User> getUsersGroupByAge() { QueryWrapper<User> queryWrapper = Wrappers.query(); queryWrapper.select("age").groupBy("age"); return userMapper.selectList(queryWrapper); } } ``` 在上述示例中，我们使用 `QueryWrapper` 构建了一个查询条件对象 `queryWrapper`，然后调用 `select` 方法指定查询的字段为 "age"，再调用 `groupBy` 方法指定按照 "age" 字段进行分组。最后，通过 `userMapper.selectList(queryWrapper)` 执行查询并返回结果。 这样，我们就可以使用 `QueryWrapper` 构建带有 `group by` 的查询语句，并通过 MyBatis-Plus 进行执行和操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值