Self-Attention Mechanism(自注意力机制)

最新推荐文章于 2024-11-27 17:34:17 发布
最新推荐文章于 2024-11-27 17:34:17 发布
阅读量2.5k 收藏 4
点赞数
文章标签： 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mr_Suda/article/details/121620182
版权

self-attention是注意力机制中的一种，也是transformer中的重要组成部分，而self-attention其本质的基础便是上一文提到了attention。本文中只讲解最简单的Self-Attention Mechanism，涉及到其他的会在transformer里面进行提及。

1.Self-Attention Mechanism模型结构

在Self-Attention的模型中，模型的输出是对整个模型的输入进行一个考虑，最终得到了相应的输出。（类似于Attention中S_i对于每个H_1.H_2,H_3的考虑）

 上图所展示的便是Self-Attention的一个基本的运行结构。

明白了大致的模型结构，我们来具体了解一下B_1是如何得到的。

首先，我们需要去计算a_1,对应其他a_2，a_3，a_4的一个相关性。在我这里我们使用向量点积的方式来得到两个2向量之间的相关性。

上图所展示的便是相关性的计算过程。

我们看到我们会将输入的两个向量分别乘上对应的矩阵，W_q和W_k,得到Q（Query）和K（Key）两个结果。然后再用两个结果做内积得到相关性。（注意这里的W_q和W_k是两个可以学习的矩阵参数）。

通过上面的方法我们便可以得到a_1和a_2的相关性

最低0.47元/天 解锁文章
菅田将暉_
关注
自注意力机制(Self-Attention Mechanism)
AI天才研究院
07-12 902
自注意力机制(Self-Attention Mechanism) Self-Attention Mechanism. 自注意力(Self-Attention)机制也称为内部注意力(Int
AI学习指南深度学习篇-自注意力机制（Self-Attention Mechanism）
俞兆鹏的博客
10-25 1951
自注意力机制是一种使得模型能够在处理输入序列时，有效地关注到序列中各个元素之间的关系。与传统的卷积和循环神经网络（RNN）不同，自注意力机制能够在单一的计算步骤中捕捉到序列中不同位置之间的相互关系。
一文彻底搞懂深度学习 - 自注意力（Self- Attention）
最新发布
h1453586413的博客
11-27 1293
*******，并根据这些依赖关系生成新的序列表示。****
自注意力机制（Self-Attention Mechanism）
qq_74722169的博客
02-22 3986
先让我们来了解什么是注意力机制，当我们看到一张图画时，第一眼肯定会注意到图片中最显眼的特征，**深度学习中的注意力机制（Attention Mechanism）**是一种模仿人类视觉和认知系统的方法，它允许神经网络在处理输入数据时集中注意力于相关的部分。通过引入注意力机制，神经网络能够自动地学习并选择性地关注输入中的重要信息，提高模型的性能和泛化能力。例如下图：我们大部分人第一眼注意到的一定是东方明珠，但是这图其实还有旁边的楼，下面的汽车等等。这其实就是一种。
自然语言处理中的自注意力机制（Self-Attention Mechanism）
Paper weekly
03-28 5468
作者丨罗凌学校丨大连理工大学信息检索研究室研究方向丨深度学习，文本分类，实体识别近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理各个任务中，之前我对早期注意力机制进行过一些学习总结 [1]。 随着注意力机制的深入研究，各式各样的 Attention 被研究者们提出。在 2017年 6 月 Google 机器翻译团队在 arXiv 上放出的 Attention is A
自然语言处理中的自注意力机制（Self-attention Mechanism）
u014203254的博客
02-19 7148
自然语言处理中的自注意力机制（Self-attention Mechanism） 近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中，之前我对早期注意力机制进行过一些学习总结（可见http://www.cnblogs.com/robert-dlut/p/5952032.html）。随着注意力机制的深入研究，各式各样的attention被研究者们提出...
下面是一个自注意力机制（Self-Attention Mechanism）的实现，基于PyTorch
07-19
自注意力机制在Transformer模型中被广泛应用，是现代NLP模型的核心组件之一。Transformer模型是由Vaswani等人在2017年提出的，它通过完全基于注意力机制来实现序列到序列的转换，不依赖于传统的循环神经网络（RNN)...
李宏毅机器学习：self-attention（自注意力机制）和transformer及其变形
iwill323的博客
10-20 6002
self-attention，transformer及变形
深入理解深度学习——注意力机制（Attention Mechanism）：自注意力（Self-attention）
冯·诺依曼
06-10 1万+
想象一下，有了注意力机制之后，我们将词元序列输入注意力池化中， 以便同一组词元同时充当查询、键和值。具体来说，将比较的是卷积神经网络、循环神经网络和自注意力这几个架构的计算复杂性、顺序操作和最大路径长度。请注意，顺序操作会妨碍并行计算，而任意的序列位置组合之间的路径越短，则能更轻松地学习序列中的远距离依赖关系。总而言之，卷积神经网络和自注意力都拥有并行计算的优势， 而且自注意力的最大路径长度最短。但是因为其计算复杂度是关于序列长度的二次方，所以在很长的序列中计算会非常慢。而在自注意力中，查询、键和值都是。
Self-Attention Mechanism
wang2008start的专栏
12-02 687
    在计算 Attention 时主要分为三步，第一步是将 query 和每个 key 进行相似度计算得到权重，常用的相似度函数有点积，拼接，感知机等；然后第二步一般是使用一个 softmax 函数对这些权重进行归一化；最后将权重和相应的键值 value 进行加权求和得到最后的 Attention。 目前在 NLP 研究中，key 和 value 常常都是同一个，即 key=value。...
自注意力机制（Self-Attention Mechanism）的详细介绍
Seu_Jason的博客
09-30 865
本文介绍了有关自注意力机制相关的信息。
LLM(3) | 自注意力机制 (self-attention mechanisms)
baiyu33的博客
02-02 1952
attention 机制被证明是机器学习领域里一个有价值的新鲜事物， 在多个任务上提升了模型的性能和可解释性。通过理解不同类型的 attention 和它们的优点， 研究人员和参与这门可以继续推进机器学习模型能力的边界。论文 Attention Is All You Need 首次提出了 attension machanisms 注意力机制attention 机制解决了 fixed-length encoding 的限制英文单词 attend 意思是 “关注”, attention 是它的名词形式。
Attention 一综述
Xwei1226的博客
01-10 1689
近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中。随着注意力机制的深入研究，各式各样的attention被研究者们提出，如单个、多个、交互式等等。去年6月，google机器翻译团队在arXiv上的《Attention is all you need》论文受到了大家广泛关注，其中，他们提出的自注意力（self-attention）机制和多头（mult...
自然语言处理中的自注意力机制（Self-Attention Mechanism）(基本Attention模型的改进)
Fragrant_huee
09-18 3023
基础文章《Attention is All You Need》 https://zhuanlan.zhihu.com/p/32501462?edition=yidianzixun&utm_source=yidianzixun&yidian_docid=0I59CUVb
自然语言处理中的自注意力机制（Self-attention Mechanism）【转载】
Chevalier的博客
03-06 587
原文：https://www.cnblogs.com/robert-dlut/p/8638283.html   近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中，之前我对早期注意力机制进行过一些学习总结（可见http://www.cnblogs.com/robert-dlut/p/5952032.html）。随着注意力机制的深入研究，各式各样的at...
一文搞定自注意力机制（Self-Attention）
热门推荐
markconca的博客
10-25 8万+
1 Self-Attention的概念2 Self-Attention的原理3 Self-Attention的作用4 Self-Attention的问题。
详解注意力机制(Attention Mechanism)，自注意力(Self-Attention)，多头注意力(MultiHeadAttention)
qq_51872445的博客
08-15 3560
一、注意力机制（Attention Mechanism） 注意力机制（Attention Mechanism）是深度学习领域的一个重要概念，最初在自然语言处理（NLP）中被引入，用于改进序列到序列（seq2seq）模型的性能，特别是在机器翻译任务中。这种机制允许模型在处理输入序列的不同部分时，能够“关注”或“聚焦”于其中更重要的部分，而不是平等地对待所有输入元素。 参考资料 书籍 Z. Li, A. Gan, et al., “动手学深度学习 第二版,” 电子工业出版社, 2021. 网络文
self-attention mechanism
06-05
self-attention机制是一种用于机器翻译和自然语言处理中的重要技术，它可以使模型更好地理解输入序列中不同位置之间的关系。self-attention机制将输入序列的每个元素转换为一个向量，然后计算这些向量之间的相似度得分，最后根据得分对每个元素进行加权平均，以得到一个加权表示，这个表示会捕获输入序列中每个元素的不同重要性。在Transformer等深度学习模型中，self-attention机制被广泛使用，以取代传统的循环神经网络结构。 下面是一个self-attention机制的python实现代码示例[^1]： ```python import torch import torch.nn.functional as F def self_attention(inputs): batch_size, seq_len, hidden_size = inputs.size() # 计算Q、K、V Q = inputs K = inputs V = inputs # 分别计算Q、K的点积得分 attention_scores = torch.matmul(Q, K.transpose(1, 2)) # 通过缩放因子进行缩放 attention_scores_scaled = attention_scores / (hidden_size ** 0.5) # 对每个序列位置的得分进行softmax归一化 attention_weights = F.softmax(attention_scores_scaled, dim=-1) # 对V进行加权求和 attention_output = torch.matmul(attention_weights, V) return attention_output # 测试 inputs = torch.rand(2, 5, 10) # 输入张量大小为[batch_size, seq_len, hidden_size] outputs = self_attention(inputs) print(outputs.size()) # 输出结果应该是[2, 5, 10] ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>