Llama改进之——分组查询注意力

最新推荐文章于 2025-04-22 23:51:56 发布
最新推荐文章于 2025-04-22 23:51:56 发布
阅读量3.9k 收藏 31
点赞数 24
分类专栏： # 从Transformer到LLM NLP项目实战 自然语言处理 文章标签： llama 深度学习 人工智能 分组查询注意力 旋转位置编码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yjw123456/article/details/139345325
版权

引言

今天介绍LLAMA2模型引入的关于注意力的改进——分组查询注意力(Grouped-query attention,GQA)1。

Transformer中的多头注意力在解码阶段来说是一个性能瓶颈。多查询注意力2通过共享单个key和value头，同时不减少query头来提升性能。多查询注意力可能导致质量下降和训练不稳定，因此常用的是分组查询注意力。

然后我们结合上篇文章3探讨的旋转位置编码，将选择位置编码应用到分组查询注意力上。

多头注意力

我们先回顾以下原始多头注意力的实现。

import torch
from torch import nn
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【NLP】理解 Llama2：KV 缓存、分组查询注意力、旋转嵌入等
sikh_0529的博客
11-13 4490
是 Meta AI 的开创性作品，作为首批高性能开源预训练语言模型之一闯入了 AI 场景。值得注意的是，，尽管其尺寸只是其一小部分。您无疑听说过 LLaMA 令人印象深刻的性能，但您是否想知道是什么让它如此强大？图 1：原始 Transformer 和 LLama 之间的架构差异检查图 1 揭示了从原始 Transformer 到突破性的 LLaMA 架构的深刻转变。LLaMA 2.0 牢固地植根于 Transformer 框架的基础，但它引入了独特的创新——SwiGLU和。
Llama改进之——RoPE旋转位置编码
日积月累，天道酬勤
05-29 2394
旋转位置编码从理论到实战。
Grouped-query Attention(GQA)、Multi-query Attention(MQA)、Multi-Head Latent Attention (MLA)
taoqick的专栏
02-12 954
Grouped-query attention an interpolation of multi-query and multi-head attention that achieves quality close to multi-head at comparable speed to multi-query attention.
大模型学习笔记------Llama 3模型架构之分组查询注意力（GQA）
最新发布
gz7seven
04-22 896
本文主要介绍分组查询注意力（Group Query Attention，GQA），并且同时介绍了多头注意力（MHA）和多查询注意力（MQA），并对比了三种注意力机制。
探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（四）分组多查询注意力
段智华的博客
04-26 1101
探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（四）分组多查询注意力。
Group Query Attention (GQA) 机制详解以及手动实现计算
热门推荐
samoyan的博客,记录技术成长~
04-19 1万+
Grouped-Query Attention (GQA) 是对 Multi-Head Attention (MHA) 和 Multi-Query Attention (MQA) 的扩展。通过提供计算效率和模型表达能力之间的灵活权衡，实现了查询头的分组。GQA将查询头分成了G个组，每个组共享一个公共的键（K）和值（V）投影。
一文通透各种注意力：从多头注意力MHA到分组查询注意力GQA、多查询注意力MQA
结构之法 算法之道
11-05 1万+
因此，可以确认：在 MQA 中，除了 query 向量还保存着 8 个头，key 和 value 向量都只剩 1 个「公共头」了，这也正好印证了论文中所说的「所有 head 之间共享一份 key 和 value 的参数」然而，随着上下文窗口或批量大小的增加，多头注意力 (MHA)模型中与 KV 缓存大小相关的内存成本显着增长。对于较大的模型，KV 缓存大小成为瓶颈，键和值投影可以在多个头之间共享，而不会大幅降低性能，可以使用。)，其能够在保证模型效果的同时加快 decoder 生成 token 的速度。
GQA分组注意力机制
weixin_40777649的博客
04-28 2097
【代码】GQA分组注意力机制。
大模型位置编码：RoPE的优化方案
kakaZhui的博客
04-09 119
在Transformer 架构中，位置编码（Positional Encoding, PE）是让模型理解 Token 顺序的关键技术。近年来，旋转位置编码（Rotary Positional Embedding, RoPE）因其出色的性能和对相对位置的优雅编码而成为主流选择，被 Llama 系列等众多模型采用。然而，随着对超长上下文（如 128k 甚至更长）的需求日益增长，标准 RoPE 在超出其预训练长度时表现出的外推性（Extrapolation）问题逐渐显现。
大语言模型之四-LlaMA-2从模型到应用
shichaog的专栏
08-19 5429
最近开源大语言模型LlaMA-2火出圈，从huggingface的开源大语言模型排行榜可以看到LlaMA-2还是非常有潜力的开源商用大语言模型之一，相比InstructGPT，LlaMA-2在数据质量、培训技术、能力评估、安全评估和责任发布方面进行了大量的技术更新，此外在商业许可、huggingface等社区支持等方面也做的比较好，本篇文章以7B模型为例介绍LlaMA-2的推理、训练以及应用。相对来说LlaMA-2模型结构比Transformer简单一些，关于Transformer可以参见博客《
Grouped Query Attention论文阅读
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
08-06 1943
Google在2023年发表的一篇关于Transformer Attention的论文，整体论文写的清晰易读，思想简单但很好用。论文名字简写是GQA
LLM - GQA 之 Group Query Attention 论文与源码精读
BITDDD小栈
08-06 1268
GQA 之 Group Query Attention 详解。
【LLM】Group Query Attention (GQA)
2665000101@qq.com
02-04 1105
在 Transformer 模型中，注意力机制的计算开销很大，尤其是当序列长度和模型规模增加时。Group Query Attention (GQA) 是一种改进的注意力机制，旨在。的方式，减少了计算量，同时尽量保留了模型的表达能力。这样，既减少了计算量，又保留了不同注意力头的多样性。
Grouped-Query Attention（GQA）详解: Pytorch实现
阿正的梦工坊
02-23 2156
GQA+KV Cache
一杯咖啡的时间学习大模型（LLM）：LLaMA解读之分组查询注意力（Grouped Query Attention）
Bug_makerACE的博客
02-14 1090
一文读懂LLaMA核心架构之分组查询注意力（Grouped Query Attention）
介绍llama2|理解group query attention(GQA)
weixin_43833206的博客
09-29 1880
多角度分析llama模型的group query attention
三种注意力机制： 多头注意力、分组多查询与多查询注意力（Multi-Head , Grouped Multi-Query , Multi-Query ）：图书馆类比解读三种注意力机制的区别与优劣
aiAI
11-20 1056
用一个简单的生活场景来类比，帮助你理解图中的三种注意力机制（Multi-Head Attention, Grouped Multi-Query Attention, Multi-Query Attention）的区别。这就像在图书馆里，通过分组解决了成本高和效率低的问题，同时保留了较好的个性化服务。分组注意力机制在计算效率和结果质量之间找到了一个平衡点。多头注意力模型提供高质量的输出，但代价是计算速度慢。这种方法牺牲了质量来换取速度。
Multi Query Attention & Group Query Attention
Swift's Blog
09-13 4134
Multi Query Attention(MQA)在2019年就被提出来了，用于推理加速，但在当时并没有受到很多关注，毕竟一张2080就能跑Bert-base了。随着LLM的大火，MQA所带来的收益得以放大。more。
开源大语言模型
03-20
### 开源大语言模型的最新进展 #### 中文LLaMA和Alpaca模型 在Apache-2.0协议下，中文LLaMA模型及其指令精调版本——中文Alpaca大模型已经开源。这些模型基于原始LLaMA进行了改进，通过扩充中文词表以及利用大量中文数据进行二次预训练，从而增强了其对中文基础语义的理解能力[^1]。此外，中文Alpaca还特别针对中文指令数据进行了微调，大幅提高了模型理解和执行复杂任务的能力。 #### 数据隐私与成本考量下的NL-to-SQL引擎开发 为了应对闭源大型语言模型带来的高昂费用及潜在的数据隐私风险，在Dataherald项目中，研究人员创建了一款开源自然语言转SQL引擎。该工具可以兼容多种开源LLM，如Llama2和Mistral等，并将其性能与OpenAI旗下的GPT系列模型做了对比测试。结果显示，部分开源模型已具备相当竞争力，能够在特定场景下替代昂贵的企业级解决方案[^2]。 #### Meta推出的新一代Llama 3架构特性解析 近期，Meta发布了下一代开源大语言模型Llama 3。相比之前版本，它引入了一些重要技术创新点：首先是扩大了Tokenizer规模至128,256 tokens；其次是增加了嵌入层维度使得最小规格参数量上升到了约8亿级别；最后则是应用了分组查询注意机制(GQA)，这不仅优化了资源利用率还能更好地支持超长序列建模需求[^3]。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "meta-llama/Llama-3" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) text = "你好世界!" input_ids = tokenizer.encode(text, return_tensors="pt") output = model.generate(input_ids, max_length=50) print(tokenizer.decode(output[0], skip_special_tokens=True)) ``` 上述代码片段展示了如何加载并运行最新的Llama 3模型实例化过程的一部分。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

愤怒的可乐

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值