Self-Attention 自注意力机制（二）——实例过程说明

已于 2024-07-18 14:29:08 修改
阅读量1.6k 收藏 28
点赞数 20
文章标签： 算法
于 2024-07-16 17:14:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qiaoxinyu1989/article/details/140459480
版权

 声明：本文章是根据网上资料，加上自己整理和理解而成，仅为记录自己学习的点点滴滴。可能有错误，欢迎大家指正。

一、自注意力机制核心过程

自注意力机制（Self-Attention Mechanism），也称为内部注意力机制，是一种在序列模型中用于捕捉序列内部不同位置之间依赖关系的技术。这种机制允许模型在处理序列时，对序列中的每个元素分配不同的权重，这些权重反映了元素之间的相互关系。自注意力机制的关键在于它不需要像循环神经网络（RNN）那样逐步处理序列，因此可以并行化计算，并且可以捕捉长距离依赖。

  • 自注意力机制的核心原理可以概括为以下几个步骤：

  1. 表示（Representation）：对序列中的每个元素（例如单词、时间点等）进行表示，通常通过嵌入（Embedding）层将元素转换为固定维度的向量。

  2. 查询（Query）、键（Key）、值（Value）：将每个元素的表示向量分解为三个向量：查询（Q）、键（K）、值（V）。这些向量可以是同一个表示的不同线性变换，也可以通过不同的网络层来学习。

  3. 注意力分数（Attention Scores）：计算每个元素的查询向量与序列中所有键向量之间的相似度得分。这通常通过点积（Dot Product）来实现，然后通常会应用一个缩放因子（例如除以键向量的维度的平方根），以避免梯度消失或爆炸问题。

  4. 权重分配（Weighting）：使用softmax函数对注意力分数进行归一化处理，得到每个元素对于序列中其他元素的权重。归一化确保了所有权重的和为1。

  5. 加权求和（Weighted Sum）：将归一化的注意力权重与对应的值向量相乘，然后对所有元素的加权值向量求和，得到最终的输出向量。

  6. 输出（Output）：得到的加权求和向量可以作为序列中每个元素的输出表示，它包含了序列内部的全局信息。

自注意力机制的一个关键优势是其能够捕捉序列中任意两个元素之间的依赖关系，无论它们在序列中的距离有多远。这种能力使得自注意力机制在处理长序列和复杂依赖关系时特别有效，例如在自然语言处理（NLP）中的翻译、文本摘要、问答系统等任务中。

在深度学习框架中，自注意力机制可以通过多头注意力（Multi-Head Attention）进一步扩展，其中模型并行地执行多个自注意力层，每个层学习到序列的不同表示子空间，最终将这些表示合并，以捕获更丰富的信息。这种机制在Transformer模型中得到了广泛应用。

  • 数学上，嵌入层过程可以表示为： Embedding(𝑤)=𝐸×OneHot(𝑤) 其中：

  • 𝐸 是嵌入权重矩阵。
  • 𝑤是词汇表中的单词或标记。
  • OneHot(𝑤) 是单词 𝑤 的独热编码向量。
  • Embedding(𝑤) 是单词 𝑤的嵌入向量。

详细过程通过下述例子说明。如机器翻译，有一个英文句子 "I love natural language " 需要翻译成另一种语言。在使用自注意力机制的模型中，首先会将每个单词转换为一个向量形式，这些向量是通过嵌入层得到的。

二、表示或嵌入过程：

嵌入层（Embedding Layer）是一种在深度学习和机器学习中常用的技术，特别是在处理自然语言处理（NLP）任务时。嵌入层的主要作用是将离散的输入数据（如单词、字符或其他类型的标记）转换为连续的向量表示。这些向量捕捉了输入数据的语义和语法特征。

嵌入层的数学表达通常如下： Embedding(w)=E×w 其中，𝑤 是离散的输入单词或标记，𝐸是嵌入权重矩阵，Embedding(𝑤)是单词 𝑤的连续向量表示。在实际应用中，嵌入层通常作为模型的第一层，为后续的神经网络层（如卷积层、循环层或Transformer层）提供输入。

嵌入层将离散的单词或标记转换为实数向量的过程通常涉及以下几个步骤：

  • 词汇表构建:首先，需要构建一个词汇表，其中包含所有在训练数据中出现的唯一的单词或标记。每个单词或标记在词汇表中被分配一个唯一的索引。

如："I love natural language "只包含4个单词：["I", "love", "natural", "language"]。我们想要将这些单词嵌入到一个2维的空间中（即嵌入维度为2）。词汇表索引分配可能是这样的：

I      -> 索引 0
love   -> 索引 1
natural-> 索引 2
language-> 索引 3

  • 权重矩阵初始化:嵌入层由一个权重矩阵定义，其行数等于词汇表的大小，列数是嵌入的维度。权重矩阵最初是随机初始化的。

如：初始化一个4x2的权重矩阵 𝐸，随机分配小的实数值：

E =\begin{bmatrix} 0.2& 0.5&-0.1 &0.3 \\ 0.1 & 0.3& 0.4 & 0.7 \end{bmatrix}

最低0.47元/天 解锁文章
自注意力(SelfAttention)原理与代码实战案例讲解
AI天才研究院
07-06 1153
自注意力(Self-Attention)原理与代码实战案例讲解 1. 背景介绍 1.1 问题的由来 在深度学习领域，尤其是在自然语言处理（NLP）中，模型通常需要处理大量连续的文本数据。例如，在文本分类、机器翻译、情感
自注意力机制（Self-Attention）
极光喵的博客
03-02 2451
这是符合常理的，因为一句话中的每个单词重要程度是不一样的，从语法角度说，主谓宾语比其它句子成分更重要，self-attention机制就是模型尝试学习句子成分重要程度的方法。它将传递给神经网络的向量是三个单词中每个单词的向量乘以它们的权重分数的总和（这里忽略了那些权重分数低的不重要的单词）。为每个token创建q,k,v向量的过程如下，其中Wq，Wk和Wv矩阵可以看成神经网络层的参数，也就是说我们可以将token x经过神经网络层的映射得到对应的q,k,v向量。生成的向量是可以发送到前馈神经网络的向量。
Self-Attention机制的计算详解
qq_41915623的博客
06-07 2万+
​ 个人理解，就是对参数进行“加权求和”。​ 其中，XXX表示输入的数据，Q,K,VQ,K,VQ,K,V对应内容如图，其值都是通过XXX和超参（先初始化，后通过训练优化）进行矩阵运算得来的。​ 结合代码进行理解：Step1： 初始化WQ,WK,WVW^Q , W^K,W^VWQ,WK,WV矩阵 ​ 假设三种操作的输入都是同等维度的矩阵，这里每个特征维度都是768.即三者的维度： WQ.shape=[768,768]WK.shape=[768,768]WV.shape=[768,768] W^Q.sh
【深度学习】Self-Attention机制详解：Transformer的核心引擎
最新发布
欢迎来到我的CSDN个人博客主页！
03-24 1507
本文介绍了Self-Attention（自注意力机制）。在深度学习领域，Transformer架构的出现彻底改变了自然语言处理(NLP)的格局，而Self-Attention（自注意力）机制则是Transformer的核心组件。Self-Attention兼具了卷积的局部处理能力和全连接层的全局连接特性，但它通过动态生成权重的方式实现了更灵活的表示学习，这也是Transformer架构成功的关键因素之一。
自注意力机制(Self-Attention)
DUT_LYH
03-25 6686
自注意力机制作为一种强大的技术，已经在许多领域取得了显著的成果。然而，它也面临着一些挑战和未来的发展趋势：计算效率：自注意力机制的计算复杂度较高，特别是在处理长序列时。未来的研究需要进一步优化自注意力机制的计算效率。模型容量：自注意力机制的参数量和计算量较大，这可能会导致模型过拟合。未来的研究需要探索更有效的模型结构，以减少模型的参数量和计算量。泛化能力：自注意力机制在特定任务上的表现可能很好，但在其他任务上的表现可能不佳。未来的研究需要探索更通用的自注意力机制，以提高模型的泛化能力。
（小例子）通俗理解自注意力(self-attention)
qq_43703185的博客
09-13 965
原文链接：https://www.jianshu.com/p/c6a090af4b30 谷歌在2017年发表了一篇论文《Attention Is All You Need》，论文中提出了transformer模型，其核心就是self-attention的架构，这一突破性成果不仅洗遍了NLP的任务，也在CV中取得了非常好的效果，有大道至简的感觉。本文通过一个通俗易懂的例子[1]来介绍self-attention。 文章首发个人博客。 （注：本文例子完全来在参考文章，包括文章的gif动图，感谢作者的文章） 介绍
自注意力机制的计算过程
weixin_57027133的博客
10-16 654
定义三个权重矩阵 Wq（查询矩阵）、Wk（键矩阵）和 Wv（值矩阵），它们的维度通常与输入元素的嵌入维度相匹配。自注意力机制的计算过程主要涉及三个步骤：生成查询（Query）、键（Key）和值（Value）向量，计算注意力得分，以及根据注意力得分生成加权输出。公式更新为：scaled_score(ai, aj) = score(ai, aj) / √dk，其中 dk 是键向量的维度。）的查询向量 qi 和键向量 kj 的点积（i为自身，j为包含自身的其他元素）。进行归一化后ai,j变为a’i,j。
Self-Attention自注意力机制：深度学习中的动态焦点 | 手把手实例解析 看不懂你打我
weixin_73373302的博客
08-17 956
在探索自然语言处理（NLP）和其他序列建模任务中，注意力机制已经成为了一个不可或缺的工具。它使得模型能够聚焦于输入数据中的关键部分，而不仅仅是按照顺序处理信息。在这篇文章中，我们将探讨一种特别的注意力机制——自注意力（Self-Attention），并解释它如何改变了我们构建神经网络的方式。自注意力是一种特殊的注意力机制，它允许模型关注输入序列的不同位置以计算表示向量。与传统的循环神经网络（RNN）相比，自注意力机制不需要按照顺序处理序列中的每个元素，这大大加快了训练速度，并且能够在长距离依赖上表现出色。
Transformer自注意力机制（Self-Attention）模型
Jeremy程序员
07-06 2万+
自注意力机制是现代自然语言处理模型（如Transformer）的核心，具有处理并行化、捕捉长距离依赖和灵活性强等优点。通过多头注意力机制，自注意力模型能够有效地捕捉序列中的多种特征，广泛应用于机器翻译、文本生成、文本分类和问答系统等任务。
Python实现基于TCN-selfAttention自注意力机制结合时间卷积神经网络多变量时间序列预测的详细项目实例（含完整的程序，GUI设计和代码详解）
03-23
内容概要：本文档详细介绍了一个基于TCN（时间卷积神经网络）和自注意力机制（Self-Attention）的多变量时间序列预测项目的全过程，旨在解决传统方法存在的缺陷并在工业领域实现高精度预测。文中首先阐述了背景和...
Self-Attention
顺其自然~专栏
04-14 577
自注意力机制（Self-Attention）是 Transformer 模型的核心组成部分，它允许模型在处理序列数据时同时考虑序列中的所有位置，以此来捕捉序列内的长距离依赖关系。Self-Attention 的工作机制包括以下几个关键步骤：1、输入表示：首先，模型接收一个输入序列，通常是一个单词或标记的序列，每个单词或标记被转换为一个密集向量表示，这些向量集合构成了输入矩阵。2、计算注意力分数：模型通过计算输入矩阵中的每个单词与其他所有单词之间的关系来得到注意力分数。这一过程涉及到三个矩阵的操作，即查询（Q
自注意力（Self-Attention）
dx1313113的博客
01-22 1万+
循环神经网络由于信息传递的容量以及梯度消失问题，实际上也只能建立短距离依赖关系。为了建立长距离的依赖关系，可以增加网络的层数或者使用全连接网络。但是全连接网络无法处理变长的输入序列，另外，不同的输入长度，其连接权重的大小也是不同的。这时，提出了自注意力模型，可以“动态”地生成不同连接的权重。自注意力模型的结构：输入n个，输出也是n个，但是会考虑整个sequence（有context）自注意力机制实际上是注意力机制。
自注意力机制
qq_40660825的博客
10-19 219
https://jalammar.github.io/illustrated-transformer/ https://blog.csdn.net/weixin_37947156/article/details/86255622 写的很好。
Self attention(自注意力机制)
weixin_54892004的博客
12-20 6838
论文《Attention is all you need》 一 输入：N维向量 输出：N个lable：class/sclar (词性判断) 一个label: class/sclar（一个句子判断褒贬，听声识人） 未定数量的lable,数量由机器学习（seq2seq,翻译，语音辨识） 二 输出为N个label N 是个不确定的值，具体例子为输入一句话，每句话的长短不一样。 要考虑整个句子间的联系，window就要尽可能大，过大参数会过多，并且要...
self-attention
weixin_39326879的博客
11-01 1361
self-attention简介 什么是self-attention? self-attention顾名思义，就是自注意力机制，简单理解，就是将输入乘以一个矩阵（attention mask),获得输出的过程。那么这个attention mask怎么获得呢？attention mask也是根据输入本身得到的，1.可以通过对输入进行神经网络变换得到；2。大部分通过点积的方式（矩阵相乘，即经典的q,k,v); self-attention的目的是什么？ 其目的在于：1.融合全局信息对当前的像素信息进行编码；2.
self attention（自注意力机制）
热门推荐
jesseyule的博客
09-28 5万+
self attention是注意力机制中的一种，也是transformer中的重要组成部分，本文先重新回归一下注意力机制，再做进一步介绍。 正如之前说的，注意力机制的目的是根据我们的目标，去关注部分细节，而不是基于全局进行分析，所以核心就是如何基于目标确定我们要关注的部分，以及在找到这部分细节之后进一步进行分析。这里先以文本匹配作为例子进行介绍。 假设我们要分析两个文本是不是重复的： Iama...
cross-attention和self-attention
03-13
### Cross-Attention 和 Self-Attention 的区别及应用 #### 定义与机制 Self-Attention 是一种注意力机制，它允许序列中的每个位置关注整个序列的信息。通过计算输入序列中各个部分的相关性权重，Self-Attention 能够捕捉到全局依赖关系并生成上下文感知的表示[^1]。 Cross-Attention 则用于两个不同的序列之间建立关联。具体来说，给定一个查询（Query）序列和键值对（Key-Value Pair）序列，Cross-Attention 可以让查询序列基于另一个序列的内容来调整其表示[^2]。 #### 计算过程对比 在 Self-Attention 中，查询 (Q)、键 (K) 和值 (V) 都来源于同一个输入序列。这意味着模型会学习如何将同一序列的不同部分联系起来，从而增强局部或远程的关系建模能力。 而在 Cross-Attention 设置下，查询通常来自于源序列或者目标序列之一，而键和值则来自另一方。这种设计使得模型能够有效地跨域或多模态数据间传递信息，比如文本与图像间的交互分析。 #### 应用场景比较 - **自然语言处理领域** - 自回归解码器架构常采用 Self-Attention 来捕获句子内部单词之间的长期依存关系，在机器翻译任务中有广泛应用。 - 对于涉及多模态的任务如视觉问答(VQA)，Cross-Attention 将被用来融合图片特征和问题描述，以便更好地理解两者之间的语义关联。 - **计算机视觉方面** - 卷积神经网络(CNNs)虽然擅长提取空间上的局部模式，但当面对较大范围内的对象识别时可能表现不佳；引入 Transformer 结构及其核心组件——Self-Attention 后可以改善这一情况。 - 当需要结合其他类型的传感器数据(例如雷达信号)来进行环境感知时，则可利用 Cross-Attention 实现异质数据的有效集成。 - **时间序列预测** - 在某些情况下，历史观测值本身就可以提供足够的线索完成未来趋势估计工作，此时仅需依靠 Self-Attention 即可实现良好效果。 - 如果还存在外部辅助变量影响最终结果的话，则应该考虑加入 Cross-Attention 层次进一步提升准确性。 ```python import torch from transformers import BertModel, BertTokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') text = "Replace me by any text you'd like." encoded_input = tokenizer(text, return_tensors='pt') output = model(**encoded_input) print(output.last_hidden_state[:,0]) # Output contains embeddings enriched via self-attention. ``` 上述代码片段展示了 BERT 模型的应用实例，其中包含了典型的 Self-Attention 运作方式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值