NLP中的注意力模型 Attention model（学习心得）

最新推荐文章于 2024-08-10 17:00:22 发布
最新推荐文章于 2024-08-10 17:00:22 发布
阅读量882 收藏 3
点赞数
分类专栏： NLP 文章标签： 神经网络 人工智能 机器翻译 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42067550/article/details/105980585
版权

Attention model intuition

在前面的 seq2seq 模型基础上做些改进，形成注意力模型
Attention 的思想已经是深度学习中最重要的之一

在这里插入图片描述
给定一个非常长的法语句子
前面讲到的模型，会把原句子输入编码，然后解码生成翻译
但是人类的做法是，一小部分，一小部分地进行翻译

以 Bleu score 来说
机器翻译对于短句子的处理效果较好
长句子的表现就会越来越差
而注意力模型会改善这个问题

注意力模型来源于 Dimitri Bahdanau, Camcrun Cho, Yoshe Bengio
虽然这个模型是为了机器翻译发明的，但是后来被推广到了其他应用领域
所以这个 paper 非常有开创力 和 影响力

在这里插入图片描述
我们在短句子上看下效果

这里我们使用双向 RNN 结构
由于不准备一个个词进行输出翻译，所以去掉上面的 y_hat

在这里插入图片描述
使用双向 RNN，可以计算 每个位置 的特征集，包括周围的词
然后我们使用另一个 RNN 来生成英文翻译

    <
最低0.47元/天 解锁文章
自然语言处理（NLP）基础知识大全
AI天才研究院
08-07 2163
19世纪末期，人类开发出了第一台计算机——“电子集中式计算机”，它由电信号和电路组成，用于处理输入数据，并按照指令对数据进行加工处理得到输出结果。随着时代的发展，人们逐渐发现电子计算机在很多领域都具备着巨大的潜力，但由于其结构简单、成本低廉、运算速度快、适应性强等特点，在计算机行业受到了广泛关注。另一方面，随着人工智能技术的兴起，机器学习、深度学习、自然语言处理等人工智能技术也越来越火热。经过几十年的研究和实践，人工智能目前已经进入了一个高速发展阶段，它的算法和技术正在飞速进步。
大模型在推荐系统中的图注意力网络应用
最新发布
AI天才研究院
12-10 366
《大模型在推荐系统中的图注意力网络应用》 关键词：大模型、推荐系统、图注意力网络、AI、深度学习、算法优化、系统设计、隐私保护、跨领域推荐、多模态推荐 摘要：
NLP-注意力机制论文（2018-2019）
01-30
自然语言处理最新注意力机制论文（2018-2019），包含ACL、EMNLP、IJCAI、AAAI会议论文，英文文献，共118篇。
【NLP】Attention Model（注意力模型）学习总结
weixin_33805992的博客
08-06 882
　　最近一直在研究深度语义匹配算法，搭建了个模型，跑起来效果并不是很理想，在分析原因的过程中，发现注意力模型在解决这个问题上还是很有帮助的，所以花了两天研究了一下。 　　此文大部分参考深度学习中的注意力机制(2017版)张俊林的博客，不过添加了一些个人的思考与理解过程。在github上找到一份基于keras框架实现的可运行的注意模型代码：Attention_Network_With_Ker...
[NLP]Attention Model（注意力模型）学习总结-讲的非常好
BigData_Mining的博客
03-05 1457
注意力模型：对目标数据进行加权变化。人脑的注意力模型，说到底是一种资源分配模型，在某个特定时刻，你的注意力总是集中在画面中的某个焦点部分，而对其它部分视而不见。 ------（思考：为什么要集中在那个部分，是因为那个部分能解决问题吗？） 1. 什么是Attention机制？ 最近两年，注意力模型（Attention Model）被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任...
一篇了解NLP中的注意力机制
数智物语
03-20 9707
文章发布于公号【数智物语】 （ID：decision_engine），关注公号不错过每一篇干货。 转自 | AI小白入门（公众号ID: StudyForAI） 作者 | yuquanle，985在读硕士，目前研究方向为自然语言处理 00 目录 1.写在前面 2.Seq2Seq 模型 3.NLP中注意...
NLP - 注意力机制
红泥小火炉
05-23 412
  知乎 - self attention
大语言模型在金融风控中的应用
AI天才研究院
03-09 886
金融风控是金融机构确保其资产安全和业务稳定的重要手段。随着金融市场的复杂性和交易量的增加，传统的风控方法已难以应对日益增长的风险。近年来，随着大数据和人工智能技术的快速发展，金融风控领域逐渐引入了新的技术手段，其中大语言模型的应用尤为引人注目。大语言模型（Large Language Models, LLMs）通过在大规模文本数据上进行预训练，具备了强大的语言理解和生成能力。这些模型不仅能够处理结构化数据，还能从非结构化文本中提取有价值的信息，从而为金融风控提供了新的解决方案。
八尾勇的深度学习开发笔记：CNN-Bi-LSTM 注意力模型
LSTM则是循环神经网络（RNN）的一种改进型，它能够学习长期依赖关系，适用于自然语言处理、时间序列分析等领域。两者的结合使用，比如在模型中同时部署CNN来处理输入数据的特征提取，和LSTM来处理序列信息，可应用于...
【NLP】深入浅出全面回顾注意力机制
小哲的博客
08-08 1396
之前的博文已经学习过注意力机制，今天我们重新回顾一下。理解注意力机制是学会Transformer的基石，例如Seq2Seq引入注意力机制、Transformer使用自注意力机制（self-Attention Mechanism），使得NLP、推荐系统等方面取得了新的突破。
nlp中的Attention注意力机制+Transformer详解
01-27
根据通用近似定理，前馈网络和循环网络都有很强的能力。但为什么还要引入注意力机制呢？计算能力的限制：当要记住很多“信息“，模型就要变得更复杂，然而目前计算能力依然是限制神经网络发展的瓶颈。 优化算法的限制：虽然局部连接、权重共享以及pooling等优化操作可以让神经网络变得简单一些，有效缓解模型复杂度和表达能力之间的矛盾；但是，如循环神经网络中的长距离以来问题，信息“记忆”能力并不高。 可以借助人脑处理信息过载的方式，例如Attention机制可以提高神经网络处理信息的能力。当用神
【深度学习与NLP】——注意力机制
lingxw的博客
08-10 5050
注意力机制是注意力计算规则能够应用的深度学习网络的载体, 同时包括一些必要的全连接层以及相关张量处理, 使其与应用网络融为一体. 使用自注意力计算规则的注意力机制称为自注意力机制.说明: NLP领域中, 当前的注意力机制大多数应用于seq2seq架构, 即编码器和解码器模型.它需要三个指定的输入Q(query), K(key), V(value), 然后通过计算公式得到注意力的结果, 这个结果代表query在key和value作用下的注意力表示. 当输入的Q=K=V时, 称作自注意力计算规则.
注意力模型（Attention Model）
csdn_xmj的博客
08-01 5398
来源：Coursera吴恩达深度学习课程 在注意力模型直观理解中我们看到注意力模型如何让一个神经网络只注意到一部分的输入句子。当它在生成句子的时候，更像人类翻译。让我们把这些想法转化成确切的式子，来实现注意力模型（Attention Model）。 如上图所示，我们先假定有一个输入句子，并使用双向的RNN（bidirectional RNN），或者双向的GRU或者双向的LSTM，去计算每个词的特征（features）。实际上GRU和LSTM经常应用于这个，可能LSTM更经常一点。对于前向传播（for
Attention model-注意力模型
weixin_45245063的博客
04-13 181
Attention model 简单理解下注意力模型 看上图，如果去掉注意力机制，直接将下面部分最后一个时间步的输出作为第一个上下文context，就是一般的RNN模型。这种模型的一个问题是，例如在做翻译的时候，一个很长的句子，人类很难一下子读完然后翻译，应该是读几个词翻译一下，即翻译出来的句子的前几个词与原句的前几个词关系更相关，注意力更关注前几个词，注意力机制做的也就是这个工作。 每个上下文context，引入注意力机制后，它的值应该上个时间步的输出加上以注意力作为权重的Encoder的值之和。 α&
Attention model 注意力模型
DecafTea的博客
12-16 162
1. Encoder：Bi-RNN x(1:T): input sequence with the length of T a(1:T)：hidden state/ activation value/ history vector, 表示当前与之前的信息存储 a(0), a(end): 起始/终止符的a a‘(1:T)：concatenate 正向&逆向的history vector -->a(t) and <–a(t)。 2. Decoder： s：为与a区别，标记为s y^(1:
Attention Model详解
11-23 414
　　要是关注深度学习在自然语言处理方面的研究进展，我相信你一定听说过Attention Model（后文有时会简称AM模型）这个词。AM模型应该说是过去一年来NLP领域中的重要进展之一，在很多场景被证明有效。听起来AM很高大上，其实它的基本思想是相当直观简洁的。 　　AM 引言: 　　引用网上通俗的解释，首先，请您睁开眼并确认自己处于意识清醒状态；第二步，请找到本文最近出现的一个“A...
深度学习之Attention模型详解
THU数据派
11-26 3535
转载自：Datawhale（ID：Datawhale）作者：yif本文8434字41图，建议阅读22分钟。本文介绍深度学习中的Attention模型。Attention的...
通俗解读NLP中几种常见的注意力机制
热门推荐
计算机与数学领域的学习、分享、交流。
03-11 1万+
注意力机制在NLP领域中有广泛的应用，诸如机器翻译、智能对话、篇章问答等。在模型设计中使用注意力机制，可以显著提升模型的性能。然而，对于初识注意力机制的朋友来说，可能会有这样的疑问：自然语言处理中说的注意力机制到底是啥？它与我们大脑中的注意力有何联系？它是如何实现的？面对诸多疑问，本文将用通俗的语言来解开这些困惑。本文首先简单介绍一下认知神经学中的注意力。接着，详细解说NLP领域常见的三种注意力机制：Bahdanau注意力、Luong注意力和自注意力（self-attention）。最后，对几种注意力机制进
Attention模型超超超超超超级攻略
Real_Brilliant的博客
01-04 540
前言 虽然国内外已经有很多Attention相关的博文了，但是哪怕点击量上万，也鲜有完全讲明白Attention各方面内容的文章，反而大都千篇一律地局限在比较浅显的原理上 Seq2Seq的编码向量是怎么计算的？ Seq2Seq的编码向量是怎么使用的？ Attention就是对对联，汤姆对Tom，杰瑞对Jerry？ Attention参数是怎么计算的？ Attention是怎么实现的？ 很多...
深度学习NLP：注意力机制与Transformer解析
Transformer模型是Google在2017年提出的一种基于自注意力（self-attention）机制的序列建模方法，主要解决了RNN和CNN在处理长序列时存在的问题，如计算效率低和长距离依赖难捕获。 1、Transformer架构 Transformer...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值