LLM - 大语言模型的自注意力(Self-Attention)机制基础 概述

已于 2024-03-11 21:56:19 修改
阅读量2.2k 收藏 19
点赞数 29
分类专栏： 大模型 (LLM) 文章标签： 人工智能 自然语言处理 大语言模型 FlashAttention ReFormer 局部敏感哈希 相对位置编码
于 2024-03-11 15:38:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/caroline_wendy/article/details/136623432
版权
本文介绍了自注意力机制在大语言模型中的重要性，详细阐述了Transformer的架构，包括编码器和解码器的子层。讨论了GPT中的位置编码，特别是三角式位置编码如何处理相对位置信息。接着，介绍了LLaMA中的旋转式位置编码(RoPE)与Transformer绝对位置编码的区别。此外，还探讨了ReFormer的局部敏感哈希和可逆残差层在优化注意力计算上的作用，以及FlashAttention如何加速注意力机制的计算。
摘要由CSDN通过智能技术生成

欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://blog.csdn.net/caroline_wendy/article/details/136623432

Attention

注意力(Attention)机制是大型语言模型中的一个重要组成部分，帮助模型决定在处理信息时，所应该关注的部分。在自然语言处理中，一个序列由一系列的元素组成。注意力机制通过为序列中的每个元素分配一个权重来工作，这个权重反映了每个元素对于任务的重要性。模型会更加关注权重高的元素。自注意力(Self-Attention)是一种特殊的注意力机制，不是将输入序列与输出序列关联起来，而是关注序列内部元素之间的关系。

1. Transformer

了解本专栏 订阅专栏 解锁全文 超级会员免费看
ManonLegrand
关注
专栏目录
订阅专栏
白话transformer（四）：整体架构介绍
Andy_shenzl的博客
03-19 1168
transformer现在是最主流的深度学习框架，尤其是大模型的流程让transformer的作用更加凸显，他可以对话、分类、生成文本等功能，那么他到底是如何工作的呢。
最全的开源 LLM （大语言模型）整理.zip
09-04
这个压缩包包含了一个名为"awesome-llm-master"的文件夹，里面详细整理了各种开源的大语言模型。这些模型不仅体现了AI技术的进步，也推动了自然语言理解和生成的应用发展。开源社区的贡献使得更多的研究者和开发者有...
大模型之自注意力机制Self-Attention（一）
段智华的博客
05-16 1129
大模型之自注意力机制Self-Attention。
【LLM大模型】大语言模型架构：1.attention
m0_63171455的博客
09-12 744
MHA（Multi-head Attention）是标准的多头注意力机制，h个Query、Key 和 Value 矩阵。MQA（Multi-Query Attention）是多查询注意力的一种变体，也是用于自回归解码的一种注意力机制。与MHA不同的是，MQA 让所有的头之间共享同一份 Key 和 Value 矩阵，每个头只单独保留了一份 Query 参数，从而大大减少 Key 和 Value 矩阵的参数量。GQA（Grouped-Query Attention）是分组查询注意力，
LLM大模型训练加速利器FlashAttention详解
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
06-29 5456
因为Transformer的自注意力机制(self-attention)的计算的时间复杂度和空间复杂度都与序列长度有关，所以在处理长序列的时候会变的更慢，同时内存会增长更多。通常的优化是针对计算复杂度(通过FLOPs数衡量), 优化会权衡模型质量和计算速度。在FlashAttention中考虑到attention算法也是IO敏感的，通过对GPU显存访问的改进来对attention算法的实现进行优化。
self-attention自注意力机制的结构详解（1）
热门推荐
qq_40379132的博客
06-02 1万+
1、模型的输入：如果把输入看成一个向量，输出是数值或者类别。但是若输入是一系列的向量（序列），同时长度会改变，例如输入是一句英文，每个单词的长短不一，每个词汇对应一个向量，所以模型的输入是多个长短不一的向量集合，并且每个向量的大小都不一样。另外有语音信号（其中一段语音为一个向量）、图论（每个节点是一个向量）也能描述为一串向量。将单词表示为向量的方法，（1）可以利用one-hot encoding，向量的长度就是世界上所有词汇的数目，用不同位的1（其余位置为0）表示一个词汇，但是这种方式下每一个词之间没有关系
LLMs之FlashAttention-2：《FlashAttention-2: Faster Attention with Better Parallelism and Work Partition
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
09-21 1694
​ LLMs之FlashAttention-2：《FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning更快的注意力与更好的并行性和工作分区》翻译与解读 目录 《FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning》翻译与解读 扩展Transformer的上下文长度是一个挑
【LLM/大模型】一种新的注意力机制-System 2 Attention（System 2 Attention (is something you might need too)）
Junz
11-29 196
大型语言模型(LLM)非常强大，但它们仍容易出现简单的错误，这似乎显示出弱的推理能力。例如，不相关的上下文或输入提示中固有的偏好或意见，都可能使它们产生错误判断，在后一种情况下，展现了一种称为阿谀奉承的问题，即模型与输入一致同意。虽然有方法试图通过添加更多的监督训练数据或强化学习策略来缓解这些问题，但论文认为这是Transformer本身的构建方式，特别是其注意力机制中存在固有问题。
自然语言基础2 BERT源码 & 大模型技术(attention/transformer/LLM) 如何处理各类NLP任务
disanda的专栏
06-28 1339
本文以huggingface BERT模型为例，概述常见Transformer的结构，以及数据处理的过程和相关概念，这里一定要牢记attention论文中的那张图，bert主要是其中encoder部分的实现（其实也可以通过参数变为decoder部分）现在的transformer模型 (大模型LLM) 有很多了，包括GPTs, LLaMa, Moss等等，但作为初学者，4-5年前的GPT2和BERT相对会好上手一些，一方面可借此了解常见NLP任务，数据处理和模型基本结构等。
人工智能-大模型-基于大语言模型的自动综述生成
最新发布
10-21
大语言模型（二选一或均提供） LLM API (Choose one or both) Claude2 https://claude.ai/chats 支持Open AI 格式的模型地址和密钥 URL and Key compatible with OpenAI format 爱思唯尔开发者 Elsevier Research ...
0041-极智AI-解读MLC-LLM 让语言大模型运行在任何设备-个人笔记
08-03
0041_极智AI_解读MLC-LLM 让语言大模型运行在任何设备-个人笔记
大型语言模型 (LLM)全解读.pdf
01-30
它们使用多层的转换器模型，这些模型由编码器和解码器构成，具备自注意力机制，能捕捉到文本中的上下文信息和词汇关系。与传统的循环神经网络（RNN）不同，转换器可以并行处理输入序列，提高了训练效率，尤其在利用...
LLM(3) | 自注意力机制 (self-attention mechanisms)
baiyu33的博客
02-02 1878
attention 机制被证明是机器学习领域里一个有价值的新鲜事物， 在多个任务上提升了模型的性能和可解释性。通过理解不同类型的 attention 和它们的优点， 研究人员和参与这门可以继续推进机器学习模型能力的边界。论文 Attention Is All You Need 首次提出了 attension machanisms 注意力机制attention 机制解决了 fixed-length encoding 的限制英文单词 attend 意思是 “关注”, attention 是它的名词形式。
一步一步理解大模型：多头注意力机制的作用
chattyfish的博客
04-19 6562
初始权重随机分布，梯度下降优化过程推动每个头去适应其权重，以学习不同的特征，因为这有助于减少总体损失，训练数据本身是可解耦的，那么多头机制就可能碰上，Dropout，超参数，特殊设计。如果所有头都学习了相同的特征，则会冗余且效率低下，模型在其受训任务上的表现会不佳，那么这些训练结果会被放弃，留下的大概率就是学习到了更多特征的模型。：在工业化实用的模型上，对一些已知的、直觉体会到的、猜想到的特征，工程师会设计特殊的网络结构去捕捉，而这些经验性的网络结构有可能各种原因没有发表。所以，调参是非常重要的。
LLM基础｜关于Self-Attention（自注意力机制）以及 Multi-head Attention（多头注意力机制）
weixin_49659123的博客
09-01 2281
本文深入一下Self-Attention（自注意力机制）以及 Multi-head Attention（多头注意力机制）的原理以及计算过程，主要的参考资料是台大李宏毅教授的授课内容，同时增加了一些从其他文章那里参考的细节，以及一些些个人的理解和心得。
【LLM基础知识】LLMs-Attention知识总结笔记v4.0
Z4400840的博客
08-07 1067
提出Attention的论文**：**论文地址：https://arxiv.org/pdf/1706.03762.pdf提出Attention的背景：RNN处理序列数据时，token是逐个喂给模型的。比如在a3的位置，模型要等a1和a2的信息都处理完成后，才可以生成a3。存在问题是：a.随着序列长度的增加，模型并行计算的能力变差。b.随着token间距离的增加，对于远距离处的信息，RNN很难捕获其依赖关系。
LLM推理优化技术综述：KVCache、PageAttention、FlashAttention、MQA、GQA
Garvin的专栏
09-09 7136
另外，同一个prompt生成多个输出序列，可以共享计算过程中的attention键值，实现copy-on-write机制，即只有需要修改的时候才会复制，从而大大降低显存占用。随着大模型被越来越多的应用到不同的领域，随之而来的问题是应用过程中的推理优化问题，针对LLM推理性能优化有一些新的方向，最近一直在学习和研究，今天简单总结下学习笔记。首先LLM推理的过程是一个自回归的过程，也就是说前i次的token会作为第i+1次的预测数据送入模型，拿到第i+1次的推理token。
注意力机制
weixin_43512867的博客
01-18 3299
人类的视觉注意力 从注意力模型的命名方式看，很明显其借鉴了人类的注意力机制，因此，我们首先简单介绍人类视觉的选择性注意力机制。 视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，也就是一般所说的注意力焦点，而后对这一区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他无用信息。 这是人类利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段，是人类在长期进化中形成的一种生存机制，人类视觉注意力机制极大地提高了视觉信息处理的效率与
[LLM] 自然语言处理 --- 1.Attention
摩登都市天空---专栏
09-28 2331
目录 Attention简介 Encoder-Decoder框架 Attention模型 Attention 的优点 Attention 不同类型 1. 计算区域 2. 所用信息 3. 结构层次 4. 模型方面 5. 相似度计算方式 Attention详细介绍 Soft Attention 模型 图解Attention机制 第一步：准备隐藏状态 第二步：获取每个编...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ManonLegrand

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值