Attention机制

最新推荐文章于 2024-03-06 22:03:20 发布
最新推荐文章于 2024-03-06 22:03:20 发布
阅读量300 收藏
点赞数
分类专栏： 神经网络 attention 文章标签： 人工智能 nlp 机器学习 推荐系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45772960/article/details/123117873
版权
本文详细解析了Attention机制如何通过权重调整，使得Transformer等模型在翻译任务中突破传统限制，实现参数减少、速度加快和效果优化。重点介绍了自注意力和上下文理解的应用，并以北京冬奥会翻译为例阐述其核心思想。
摘要由CSDN通过智能技术生成

Attention机制笔记

attention就是权重

Transformer BERT GPT等AI模型全是在此基础上发展来的

以电脑翻译Beijing 2022 Winter Games为例：

单个Games表示游戏

联系Beijing时，Games是比赛

综合Winter和2022时，可以翻译为北京2022冬奥会

RNN网络的每层结果取决于这一层的输入和上一层的输出，两个RNN组合就形成encoder-decoder模型，先编码再解码，但这种的encoder每次的结果都是同样长度（类似于形成hsah的MD，SHA算法）在这里插入图片描述

attention就是每个时间得到不同的中间值，通过训练可得到最好的网络结构，打破了只能使用encoder形成单一向量的限制。将注意力改到对当前单词翻译最重要的信息上，提高效果。

其实就是对输入打分

self-attention就是没有顺序的打分（不仅仅以Games为主体，其他为辅），这样就串入了上下文信息。就像出门照镜子，自己看看可以提高哪里的颜值（就是提高哪里的权重）
在这里插入图片描述

我们的视觉系统也是attention系统，我们总是把注意力放在重要的信息上，快速获得最有用的信息。

总结：三大优点

  • 参数更少
  • 速度更快
  • 效果更好

点**

  • 参数更少
  • 速度更快
  • 效果更好

**核心思想：通过加权求和结合对context的理解，在不同等上下文下专注不同的信息。**所以attention可以在NLP、图像、推荐里大展拳脚。

参考B站UP梗直哥丶
https://www.bilibili.com/video/BV1xS4y1k7tn?spm_id_from=333.999.0.0

锡安sion
关注
专栏目录
Attention机制系列——Attention机制简介及在NLP任务上的研究进展
AI天才研究院
08-13 280
Attention Mechanism（注意力机制）是一个重要的用于提高模型性能、生成质量和对长文本的处理能力的技术。深度学习模型中的注意力机制已经被广泛应用于各个领域，如图像分类、机器翻译、视频理解等任务。近年来，基于Attention机制的各种NLP模型的效果已经取得了令人惊艳的成果，如Transformer、BERT、GPT-3等。本系列博文将以Transformer模型为例，讲解Attention机制的基本概念、结构、应用及在NLP任务中的研究方向。
注意力机制（二）:评分函数
qq_51957239的博客
03-22 1717
注意力机制（Attention Mechanism）是一种人工智能技术，它可以让神经网络在处理序列数据时，专注于关键信息的部分，同时忽略不重要的部分。在自然语言处理、计算机视觉、语音识别等领域，注意力机制已经得到了广泛的应用。注意力机制的主要思想是，在对序列数据进行处理时，通过给不同位置的输入信号分配不同的权重，使得模型更加关注重要的输入。例如，在处理一句话时，注意力机制可以根据每个单词的重要性来调整模型对每个单词的注意力。这种技术可以提高模型的性能，尤其是在处理长序列数据时。在深度学
注意力机制（attention）和自注意力机制（self-attention）
m0_54180573的博客
01-22 3343
本文参考了b站博主蘅芜仙菌的视频以及文章如有侵权，联系删除。注意力机制其实是源自于人对于外部信息的处理能力。由于人每一时刻接受的信息都是无比的庞大且复杂，远远超过人脑的处理能力，因此人在处理信息的时候，会将注意力放在需要关注的信息上，对于其他无关的外部信息进行过滤，这种处理方式被称为注意力机制。针对于注意力机制的引起方式，可以分为两类，一种是非自主提示，另一种是自主提示。
attention机制总结2
weixin_43178406的博客
11-28 489
1.注意力机制的计算流程 前一篇博客中，我们以具体的实例（论文）介绍了注意力机制。注意力机制看似复杂，但本质上基本相同。 attention机制都可泛化成上图所示：给定值value（可以暂时理解成输入，也可以是rnn后的输出）和查询query向量q，计算key与q的注意力分布并附加在value上，最终得到最终的attention向量。具体步骤如下所示： 1 ...
深入理解Attention机制
最新发布
u010355748的专栏
03-06 1245
Attention机制的动机在处理序列数据，如文本或时间序列时，传统的神经网络模型通常将输入序列的每个元素都视为同等重要。然而，人类在处理信息时，往往会专注于某些关键信息而忽略其他不那么重要的部分。基于这种直觉，Attention机制被设计出来，允许模型在处理数据时能够自动地对不同部分分配不同的关注度，从而提高模型的性能和效率。Attention的基本原理Attention机制本质上是一个加权机制。对于给定的输入序列，模型会学习一个权重分布，用于表征每个元素对当前任务的重要程度。
基于Attention机制的BiLSTM语音情感识别研究与web系统实现
05-27
Attention与BiLSTM模型首先Attention机制增强上下文语义信息，并获取更深层次特征，最后通过Softmax进行回归，完成所属语音情感的预测。 2.系统为用Flask搭建网页框架的语音识别系统界面； 对于提到的语音情感识别...
添加attention机制的LSTM时间序列预测（matlab）
06-07
接着，注意力机制（Attention Mechanism）的引入是为了增强LSTM的聚焦能力。它通常包含一个计算注意力权重的函数，该函数根据当前隐藏状态和记忆单元计算出对输入序列各个部分的重视程度。在MATLAB实现中，这可能...
[DL笔记] Attention机制
CSer
01-27 621
本文主要对Attention机制进行了简单的介绍。1. 介绍（1）人脑对信息的过滤其实就是一种注意力机制。注意力机制一般分为两种：聚焦式（Focus）注意力：是一种自上而下的有意识的注意力；显著性（Saliency-Based）注意力：是一种自下而上的无意识的注意力。（2）目前的神经网络中，可以将 池化（max pooling）、门控（Gating） 近似看作是自下而上的基于显著性的注意力机制；而接下来描述的则是自上而下的聚焦式注意力机制。（3）注意力分布： 为了从个输入向量中选择出和某个特定任务相关的信息
Attention 注意力机制理解
weixin_43118645的博客
03-23 295
Attention 注意力机制理解 Attention机制是什么 人类记忆流程： sensory：实时接收的信息 working：工作时注意到的信息 long-term：长时间的记忆 Attention机制就是对输入的不同元素考虑不同的权重参数，从而更加关注与输入元素相似的部分，而抑制其他无用的信息。本质上是人脑注意力的模型。 Attention机制可以灵活的捕捉全局和局部的联系。它先是进行序列的每一个元素与其他元素的对比，在这个过程中每一个元素间的距离都是一（不考虑实际距离），因此它比时间序列RNN的一步
自然语言处理中的Attention机制总结
热门推荐
CODE and POEM
08-22 10万+
       在面试的过程中被问到了attention，原来虽然其实已经实际用过attention了，也知道个大概原理是加权求和，但是对于加权的具体方法以及权值得分的计算并不是很清晰，面试答的一般，正好最近实习的地方
seq2seq中的Global Attention机制的三种评分函数的理解—以pytorch为例
fzl的博客
04-13 2135
seq2seq中的Global Attention机制的三种评分函数的理解—以pytorch为例 文章目录seq2seq中的Global Attention机制的三种评分函数的理解—以pytorch为例1 seq2seq简介2 Attention介绍2.1 Local Attention 与 Global Attention2.2 Global Attention 介绍2.3 评分函数score的...
attention机制总结
算法小白
03-28 1万+
一、背景 视觉注意力机制是人脑特有的一种对信号处理的机制，人类视觉通过观察全局图像，选取一些局部重点关注区域，然后对这些区域投入更多注意力来获取更多的细节信息，抑制其他无用信息。 二、基本思想 Attention mechanism的本质是模仿人类视觉注意力机制，学习出一个对图像特征的权重分布，再把这个权重分布施加在原来的特征上，为后面任务如图像分类、图像识别等提供不同的特征影响，使得任务主...
attention机制
thormas1996的博客
07-26 2235
（一）tensorflow入门笔记 （二）RNN，LSTM和GRU原理 （三）attention机制 （四）seq2seq实例详解 背景： seq2seq模型decoder的初始状态一般直接设为encoder最后的隐藏层状态，但是这样输入中较早的信息很容易丢失，在文本较长的情况下decoder不能很好得获取对应的输入信息。有人提出类似人的注意力机制，给对应的输入部分一个更高的权重，使...
Attention机制学习（一）传统Attention机制
jmhIcoding
12-05 4244
前言 纵观神经网络的发展历程，从最原始的MLP，到CNN，到RNN,到LSTM，GRU，再到现在的Attention机制，人们不断的在网络里面加入一些先验知识，使得网络不过于“发散”，能够朝着人们希望的方向去发展。 这些先验知识是指：局部视野知识、序列递归知识、结构递归知识，已经长短时的记忆。现在，人们加入了注意力这种先验知识。 本文将介绍应用在NLP领域的attention机制，包括传统的att...
注意力机制——注意力评分函数（代码+详解）
gary101818的博客
02-07 1万+
目录注意力分数关于a函数的设计有两种思路1.加性注意力(Additive Attention)2.缩放点积注意力（Scaled Dot-Product Attention）模块导入遮蔽softmax操作加性注意力代码：补充知识：1.torch.repeat_interleave(data, repeat= , dim=)2.torch.nn.Linear(*in_features*, *out_features*, *bias=True*, *device=None*, dtype=None）3.torch
Attention机制详解
u012526436的博客
01-11 1万+
转载请注明出处，原文地址 简介 相信做NLP的同学对这个机制不会很陌生，它在Attention is all you need可以说是大放异彩，在machine translation任务中，帮助深度模型在性能上有了很大的提升，输出了当时最好的state-of-art model。当然该模型除了attention机制外，还用了很多有用的trick，以帮助提升模型性能。但是不能否认的时，这个模型的核...
Attention！注意力机制可解释吗？
数据派THU
10-04 4399
来源：哈工大SCIR本文约9300字，建议阅读10+分钟。本文将与您探讨注意力机制的可解释性问题。序言自2014年Bahdanau将Attention作为软对齐引入神经机...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值