LSTM+Self-attention 用于自然语言处理中，真的有必要吗？

最新推荐文章于 2024-07-16 18:41:54 发布
最新推荐文章于 2024-07-16 18:41:54 发布
阅读量198 收藏 1
点赞数 1
文章标签： lstm 自然语言处理 人工智能 tensorflow nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_45096530/article/details/135925781
版权
本文探讨了在使用LSTM处理自然语言时，考虑到LSTM本身能捕捉时间序列信息，作者疑惑是否有必要额外添加自注意力机制来强调不同时间步长的输出重要性。读者寻求对此问题的见解和解答。
摘要由CSDN通过智能技术生成

一、LSTM用于自然语言处理中，可以捕捉过往时序的信息，当LSTM层的每个时间步长都输出时，应该是当前时刻输出值所包含的过往输入信息最大，那么还有必要在输出层使用注意力机制模型注意不同的因状态的时刻输出吗？

如下图，LSTM+Attention网络结构图。 

网络设置：

输入层：输入维度（样本数，时间步长，每个时刻样本的维度），输入是3D张量

LSTM：保证每一个时刻均输出，需要设置如下（tensorflow）LSTM 隐藏层神经元个数是输入向量的维度伸缩（输入特征维度5，LSTM隐藏层个数10，即输入特征5>10变换）

return_sequences=True

Attention：对LSTM输出进行自注意力机制，然后进行打分最终预测不同LSTM输出时刻对y的重要性。

输出层：y(可能需要经过flatten()进行维度展平）

但是以上困惑之处，在于LSTM每一个输出时刻都是按照一定信息量逐步增加，例如图中，h4>h3>h2>h1,在最终预测y。为何还需要自注意力机制？（请各位大佬指点迷津！） 

热爱(⑉°з°)-♡
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LSTM+GRU+self-Attention.ipynb
11-01
LSTM+GRU+self-Attention.ipynb
基于BiLSTM和Self-Attention的文本分类、表示学习网络
05-22
本实现在最后获得句子的表示(图中M矩阵)后直接过softmax分类器了，而不是原文所说的两层MLP，这里主要是考虑到要削弱末级分类器的复杂度，强迫模型学习到更有效的表示(图中M矩阵)，这样有助于下游任务
Python3.6和tensorflow1.14实现Bi-LSTM+Self-Attention+CRF实现命名实体识别
qq_41626059的博客
10-10 3215
一、自己亲自实现过程中踩的坑 跑通别人的模型可能很简单，但是自己亲自实现的时候却遇到各种各样的问题。不过还算比较幸运，自己目前遇到的问题，基本上都被前人解决了。其实这个模型网上一大堆，至于为什么要亲自实现，我给自己的理由是：如果我们想做点比较新颖的东西，那网上一定是没有的，终究还是要自己亲自实现，或者说去修改别人的代码。厚积薄发吧！！ 和大家分享一下自己遇到的坑，也算是警示后来人吧。 1.1、TF1.14版本如何构建多层的LSTM或者别的RNN模型 网上看到这样实现的。这样是不正确的，要是这样写，会各种报错
深度学习_用LSTM+Attention与Self-Attention
大道至简
10-23 3620
笔者在重新尝试用深度学习的各个模型对序列进行预测，就LSTM进行一些使用记录。
Python3.7+Tensorflow2.0(TF2)实现Bilstm+mask-self-attention+CRF实现命名实体识别
qq_41626059的博客
10-20 4407
一、他说的是对的 前几天看到一篇关于大连理工大学的研三学长的去世新闻，仔细看了他的遗书，很是泪目。他说同样的条件，做出的实验结果是不同的。 在训练我这个模型的时候，深深体会到了这个感受，有时候收敛，有时候无论怎么也不收敛。可能这个还容易解释一点，模型的很多参数是初始化的，不同的参数会跑到局部最you，模型陷在了一个局部最优点，出不去。 可能我这个模型的结构和参数都有问题，在训练过程中，损失最低也就是0.9+，然后别的一直就很高，都是三位数的损失，然后在测试集上训练的损失也很高，很是头疼的。 希望大家一起加油
基于self-attention的LSTM时间序列预测Python程序
黑科技小土豆的博客
03-30 1479
基于self-attention的LSTM时间序列预测Python程序
CNN-TCN-BiLSTM-Attention异常检测（Python完整源码)
12-15
CNN_TCN_BiLSTM_Attention异常检测（Python完整源码) CNN_TCN_BiLSTM_Attention异常检测（Python完整源码) CNN_TCN_BiLSTM_Attention异常检测（Python完整源码) CNN_TCN_BiLSTM_Attention异常检测（Python完整...
结合TFIDF的Self-Attention-Based Bi-LSTM的垃圾短信识别
05-06
针对此提出一种结合TFIDF的self-attention-based Bi-LSTM的神经网络模型.该模型首先将短信文本以词向量的方式输入到Bi-LSTM层，经过特征提取并结合TFIDF和self-attention层的信息聚焦获得最后的特征向量，最后将特征...
Self-Attention-Keras：自我关注与文本分类
02-03
自关注与文本分类 本仓库基于自关注机制实现文本分类。...$ python imdb_attention.py 比较结果 算法 训练时间（每纪元） Val准确率 Val损失 所需Epoch数 LSTM 116秒 0.8339 0.3815 2 双向LSTM
论文翻译：Large Language Models for Education: A Survey and Outlook
CSPhD-winston的博客
07-12 1208
大型语言模型（LLMs）的出现为教育领域带来了新的可能性时代。这篇综述论文从多方面的角度总结了LLMs在教育环境中的各类技术，包括学生和教师的辅助、自适应学习和商业工具。我们系统性地回顾了每个角度的技术进步，整理了相关的数据集和基准测试，并识别了在教育中部署LLMs所面临的风险和挑战。此外，我们概述了未来的研究方向，突出了潜在的有希望的方向。我们的调查旨在为教育工作者、研究人员和政策制定者提供一个全面技术图景，利用LLMs的力量来彻底改变教育实践，并促进更有效的个性化学习环境的形成。
王牌站士Ⅶ--理解大型语言模型LLM的参数
RamendeusStudio的博客
07-14 765
较小的模型对环境的影响要小得多。平均而言，较大的模型往往能够区分这种语义区别，但是，使用较低质量训练数据的较大模型不一定会胜过较小且更集中的模型。在训练大型语言模型时，参数是 LLM 的特征，可以进行调整以优化模型预测序列中下一个 token 的能力。诚然，LLM 的参数越多，它就可以调整越多的“设置”来捕捉人类语言的复杂性，从而比参数较少的模型更好地处理人类语言。因此，在其他条件相同的情况下，如果模型 A 和模型 B 仅在处理和生成语言的能力上有所不同，那么你当然应该选择语言处理能力更出色的模型。
新一代大语言模型 GPT-5 对工作与生活的影响及应对策略
fzy20110826的博客
07-14 1203
本文探究了 GPT-5 发布信息及从 GPT-4 到 GPT-5 的变化，解析了其影响，提出了应对策略，旨在提供思考和建议。
【LLMs】大语言模型分类
zzy_NIC的博客
07-14 346
随着大型语言模型（LLM）技术的发展，它们主要被划分为两个类别：基础LLM（Base LLM）和指令调优LLM（Base LLM侧重于广泛的语言理解和生成能力，而则在Base LLM基础上，通过在特定指令集上进行优化，以提高对特定任务的适应性和性能。
微调 Florence-2 - 微软的尖端视觉语言模型
Hugging Face
07-15 689
Florence-2 是微软于 2024 年 6 月发布的一个基础视觉语言模型。该模型极具吸引力，因为它尺寸很小 (0.2B 及 0.7B) 且在各种计算机视觉和视觉语言任务上表现出色。Florence 开箱即用支持多种类型的任务，包括: 看图说话、目标检测、OCR 等等。虽然覆盖面很广，但仍有可能你的任务或领域不在此列，也有可能你希望针对自己的任务更好地控制模型输出。此时，你就需要微调了！本文，...
文本分类--NLP-AI（八）
青山的博客
07-14 762
自然语言处理中的文本分类任务，引入介绍池化层（pooling）和向量化表示embedding层
大语言模型LLM
weixin_50518899的博客
07-13 947
LLM在。
新一代大语言模型架构：测试时间训练层（Test-Time Training，TTT）
最新发布
weixin_41496173的博客
07-16 840
近年来，随着Transformer架构的出现，人工智能特别是自然语言处理领域取得了飞跃性的进展。然而，最新的大语言模型架构Test-Time Training（简称TTT）的出现，可能会在不久的将来超越Transformer和Mamba。本文将详细介绍这一全新架构的设计理念、技术细节、实际应用及其潜在影响。
大语言模型系列：Transformer
乌南竹的博客
07-16 468
在自然语言处理（NLP）领域，Transformer模型自2017年由Vaswani等人在论文《Attention Is All You Need》中提出以来，已成为最具影响力的技术之一。这种模型设计的核心是自注意力机制，它允许模型在处理序列数据时，能够不依赖于数据的序列顺序，同时捕捉长距离的依赖关系。Transformer模型的出现，不仅革新了文本处理的方法，还极大地推动了后续模型如BERT、GPT等的发展。
tf 实现lstm + self-attention
11-19
以下是使用TensorFlow实现LSTM+Self-Attention的代码示例： ```python import tensorflow as tf class LSTM_Attention(object): def __init__(self, hidden_size, attention_size): self.hidden_size = hidden_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值