【nlp】2.6 注意力机制Attention

最新推荐文章于 2024-08-16 15:51:11 发布
最新推荐文章于 2024-08-16 15:51:11 发布
阅读量155 收藏
点赞数
分类专栏： NLP自然语言处理 文章标签： 自然语言处理 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lys_828/article/details/134409116
版权
本文介绍了注意力机制在自然语言处理中的应用，详细讲解了注意力计算规则，包括自注意力和一般注意力，并通过seq2seq模型架构解释了其在翻译任务中的作用。注意力机制解决了RNN在处理序列数据时的遗忘问题，提高了模型效率和性能。
摘要由CSDN通过智能技术生成

注意力机制

1 注意力机制介绍

1.1 注意力概念

我们观察事物时，之所以能够快速判断一种事物(当然允许判断是错误的)，是因为我们大脑能够很快把注意力放在事物最具有辨识度的部分从而作出判断；而并非是从头到尾的观察一遍事物后，才能有判断结果。正是基于这样的理论，就产生了注意力机制。

1.2 注意力计算规则

它需要三个指定的输入Q(query), K(key), V(value), 然后通过计算公式得到注意力的结果, 这个结果代表query在key和value作用下的注意力表示. 当输入的Q=K=V时, 称作自注意力计算规则；当Q、K、V不相等时称为一般注意力计算规则

例子：生活中的Q, K, V的比喻解释:
在这里插入图片描述

如上图所示, 一个简单的比喻是在档案柜中找文件. 查询向量Query就像一张便利贴, 上面写着你正在研究的课题. 键向量Key像是档案柜中文件夹上贴的标签. 当你找到和便利贴上所写相匹配的文件夹时, 拿出对应的文件夹, 文件夹里的东西便是值向量Value.

将单词的查询向量Query分别乘以每个文件夹的键向量Key，得到各个文件夹对应的注意力得分Score.

了解本专栏 订阅专栏 解锁全文 超级会员免费看
lys_828
关注
专栏目录
订阅专栏
一文搞懂深度学习的注意力机制 | 软和硬到底如何抉择？
YOLOv8项目贡献者
04-28 6061
大白话解析注意力机制
大核注意力 LKA | Visual Attention Network
YOLOv8项目贡献者
04-28 1510
大核注意力 LKA
学习笔记|NLP中的注意力机制汇总
我只要燃烧不在乎陨落
06-15 1916
说在前面的话： 前段时间因为组会要对注意力机制做一个报告，我在收集资料的时候发现，网上很多所谓的attention总结无非最后都陷入了对transformer模型和自注意力机制的解释中，其实这并没有对所有的注意力机制类型进行一个详细的总结，这对一个初学者来说很容易陷入一个思维定势中。因此我决定深入剖析各个经典文章中所使用的Attention机制，并对他们进行一个分类总结。可以说这篇文章内容是全网最全的，应该找不到比这个更全的总结了，除了参考一些综述和网上资料，我还根据自己的理解整合并加入了一些新的内容。.
一篇了解NLP中的注意力机制
数智物语
03-20 9677
文章发布于公号【数智物语】 （ID：decision_engine），关注公号不错过每一篇干货。 转自 | AI小白入门（公众号ID: StudyForAI） 作者 | yuquanle，985在读硕士，目前研究方向为自然语言处理 00 目录 1.写在前面 2.Seq2Seq 模型 3.NLP中注意...
【NLP】注意力机制：规则、作用、原理、实现方式
最新发布
逐梦苍穹的博客
08-16 1062
注意力机制的规则、作用、原理、实现方式【数学+图解】
NLP-注意力机制
哇-WA 的博客
08-09 521
我们以机器翻译为例。“机器学习”->“machine learning” 传统的做法是这样的： 我们先用RNN对“机器学习”进行编码（encoder），即把最后一个隐藏层的输出拿出来，作为输入丢进RNN生成器里面进行解码（decoder）。为了防止初始编码的影响力减弱，可以对每一个时间步都将初始编码作为一个输入。编码器和解码器是放在一起训练的。他们的参数可以是一样的，也可以是不一样的。 在做聊天机器人的时候，我们通常要考虑之前...
NLP中的注意力机制
云计算、数据库、大数据、容器、微服务、深度学习、NLP、Python
04-21 430
什么是注意力机制 注意力机制的作用 注意力机制的计算法则 注意力的逻辑代码实现
【NLP】深入浅出全面回顾注意力机制
小哲的博客
08-08 1346
之前的博文已经学习过注意力机制，今天我们重新回顾一下。理解注意力机制是学会Transformer的基石，例如Seq2Seq引入注意力机制、Transformer使用自注意力机制（self-Attention Mechanism），使得NLP、推荐系统等方面取得了新的突破。
多头自注意力机制详解
步子哥的博客
07-24 1460
多头自注意力机制是Transformer模型的核心组件,也是众多先进大语言模型架构的基础。它允许模型在不同的表示子空间中并行地关注输入序列的不同部分,从而增强了模型的表达能力和泛化能力。MHSA可以应用于各种类型的数据,但通常期望输入是一个向量序列,其中每个向量代表某种信息。以自然语言处理为例,输入通常是经过词向量嵌入和位置编码处理后的单词表示。这个序列包含3个词,每个词由4维向量表示。MHSA的核心在于学习三个权重矩阵,用于构造"查询"(Query)、“键”(Key)和"值"(Value)。
深层次自然语言处理（NLP）讲义.md
08-17
2.6 转换器（Transformer）与自注意力机制 预训练模型 3.1 Word2Vec与词嵌入 3.2 ELMo：上下文相关词向量 3.3 GPT（Generative Pre-trained Transformer） 3.4 BERT（Bidirectional Encoder Representations from ...
NLP中注意力机制综述
hdx柿子的博客
03-27 868
感谢参考原文-http://bjbsair.com/2020-03-27/tech-info/7118/ 目录 1.写在前面 2.Seq2Seq 模型 3.NLP中注意力机制起源 4.NLP中的注意力机制 5.Hierarchical Attention 6.Self-Attention 7.Memory-based Attention 8.Soft/Hard Attention 9.Globa...
通俗解读NLP中几种常见的注意力机制
计算机与数学领域的学习、分享、交流。
03-11 1万+
注意力机制在NLP领域中有广泛的应用，诸如机器翻译、智能对话、篇章问答等。在模型设计中使用注意力机制，可以显著提升模型的性能。然而，对于初识注意力机制的朋友来说，可能会有这样的疑问：自然语言处理中说的注意力机制到底是啥？它与我们大脑中的注意力有何联系？它是如何实现的？面对诸多疑问，本文将用通俗的语言来解开这些困惑。本文首先简单介绍一下认知神经学中的注意力。接着，详细解说NLP领域常见的三种注意力机制：Bahdanau注意力、Luong注意力和自注意力（self-attention）。最后，对几种注意力机制进
【深度学习与NLP】——注意力机制
lingxw的博客
08-10 4888
注意力机制是注意力计算规则能够应用的深度学习网络的载体, 同时包括一些必要的全连接层以及相关张量处理, 使其与应用网络融为一体. 使用自注意力计算规则的注意力机制称为自注意力机制.说明: NLP领域中, 当前的注意力机制大多数应用于seq2seq架构, 即编码器和解码器模型.它需要三个指定的输入Q(query), K(key), V(value), 然后通过计算公式得到注意力的结果, 这个结果代表query在key和value作用下的注意力表示. 当输入的Q=K=V时, 称作自注意力计算规则.
NLP | 注意力机制Attention Mechannism图文详解及代码
weixin_44649780的博客
10-20 2431
Attention 机制彻底改变了创建 NLP 模型的方式，目前是大多数最先进的 NLP 模型中的标准装置。这是因为它使模型能够强调输入中的所有单词，并在制定响应时专注于特定单词。
RNN, LSTM, GRU模型的作用, 构建, 优劣势比较,attention机制
热门推荐
码python的Vinsmoke
10-29 2万+
1. RNN架构解析 1.1 认识RNN模型 学习目标 了解什么是RNN模型. 了解RNN模型的作用. 了解RNN模型的分类. 什么是RNN模型 RNN(Recurrent Neural Network), 中文称作循环神经网络, 它一般以序列数据为输入, 通过网络内部的结构设计有效捕捉序列之间的关系特征, 一般也是以序列形式进行输出. 一般单层神经网络结构: RNN单层网络结构: 以时间步对RNN进行展开后的单层网络结构: RNN的循环机制使模型隐层上一时间步产..
注意力机制 #博学谷IT学习技术支持#
qq_27930237的博客
09-08 649
因为q=k=v，假设q是4×5的张量，先计算qx k的转置，得到wij'矩阵，也就是输入张量和输入张量之间相似度的矩阵，此时的矩阵的值是在负无穷到正无穷之间。得到wij矩阵，再用wij矩阵，乘以v，等到最后的输出张量矩阵。他需要三个指定的输入query，key，value，然后通过计算公式得到注意力的结果。1 注意力权重的计算方法不同，注意力机制对输入的关注度是平等的，而自注意力机制对输入的关注度是有侧重的。4 注意力机制，关注整体和部分之间的关系，自注意力机制，关注 整体之间的关系。
解析广泛应用于NLP的自注意力机制（附论文、源码）
weixin_40581617的博客
04-08 3614
近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理各个任务中，之前我对早期注意力机制进行过一些学习总结 [1]。 随着注意力机制的深入研究，各式各样的 Attention 被研究者们提出。在 2017年 6 月 Google 机器翻译团队在 arXiv 上放出的 Attention is All You Need [2] 论文受到了大家广泛关注，自注意力（self
三种还是四种NLP的注意力机制的总结
Talk Is Cheap
09-14 2702
www.cnblogs.com/robert-dlut/p/5952032.htmlwww.zhihu.com/question/19895141/answer/204043610 原文 ruder.io/deep-learning-nlp-best-practices/index.html#introduction
NLP - 注意力机制
红泥小火炉
05-23 409
  知乎 - self attention
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lys_828

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值