Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks

最新推荐文章于 2023-11-21 14:08:22 发布
最新推荐文章于 2023-11-21 14:08:22 发布
阅读量980 收藏 4
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35709076/article/details/90717795
版权
本文提出了一种树结构的LSTM网络，即Tree-LSTM，用于增强序列任务中的语义表示。相比传统的线性LSTM，Tree-LSTM允许信息通过更丰富的网络拓扑结构传播，包括Child-Sum Tree-LSTM和N-ary Tree-LSTM两种变体。在情感分类和句子对的语义相关度评估中，Tree-LSTM表现优于现有系统。
摘要由CSDN通过智能技术生成

代码位置
论文原文

研究意义

LSTM具有超时保存序列信息的优良性能，同时更复杂的计算单元，因此在众多的序列任务中取得了很好的效果，仅仅基于LSTM结构至今仍然是一个线性链。然而，自然语言表现出自然地将单词与短语组合在一起的句法性质。本文提出了树结构的LSTM，将LSTM推广到树状的网络拓扑结构，Tree-LSTMs在预测两个句子的语义相关性和电影评论中进行情感分类两个方面上进行实验，证明都要优于现有的系统。
如图所示，上面的为Lstm的线性，下面图是Lstm的树形：
在这里插入图片描述

提出模型

LSTM

循环神经网络（RNNs）能够通过在隐藏状态向量ht循环应用转移函数来处理任意长度的输入序列。在每一时刻t t，其隐藏态ht是一个由当前时刻的输入向量xt 和上一时刻的隐藏态ht−1构成的函数。例如，输入向量xt可以是文本中第t tt个单词的向量表示。隐藏态ht能够被解释为t时刻所观测到的由单词所组成的句子的多维分布式表示。运用的相关公式如下所示：
在这里插入图片描述

最低0.47元/天 解锁文章
qq_35709076
关注
Long short-term memory 论文小记
Nicoder的专栏
09-28 3311
这是Hochreiter（1997）的一篇老论文，我为了一睹lstm的原创遗风而读。本来想看看最朴素最正宗的lstm模型，结果却发现在本文中作者并未提出一种特有的模型。文章很长，并不打算翻译。下面是我的一些总结和见解，纯粹小菜鸟的个人观点，大家多多指正，非常欢迎~首先是这篇文章的动机。作为一篇长文，什么支撑着作者进行这么多的实验，以及这篇文章的重要性有多大，取决于动机。在这里，总结成一句话就是：Ol
论文笔记：Tree-LSTM结构的三篇论文总结
MirrorN的博客
01-06 7876
对于序列数据而言，从最早的 RNN 结构单元，后来衍生出了 LSTM 以及 GRU 等等变种，这些变种单元的功能更好，并且有效解决了RNN的梯度消失/爆炸问题。对于树结构信息来说也是如此，2015年，三篇论文同时期提出了 Tree-LSTM 的结构，分别是： Compositional Distributional Semantics with Long Short Term Memory（Ph...
Improved Semantic Representations From Tree-Structured Long Short-Term Memory Network阅读笔记
jokerxsy的博客
12-19 347
标题 《Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks》 背景 基于传统LSTM的各种复杂模型的结构都是线性链，而句子、短语都是由单词自然地组成，并不一定是线性的。 相关工作 词袋模型:短语和句子表示是词序无关的。比如:把单词向量表示做平均(Landauer and Dumais, 1997; Foltz et al., 1998) 缺点:无法解释由于词序或句法结构的不同而造成的
Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks翻译
nopSled
01-23 2533
github:https://github.com/stanfordnlp/treelstm. 摘要 由于长短期记忆网络（LSTM）这种具有复杂单元的循环神经网络具有良好的表示序列信息的能力，其在多种序列模型任务中都取得了非常好的结果。到目前为止一直被使用的LSTM是一个线性结构。然而，自然语言表现出自然地将单词与短语组合在一起的句法属性。我们引入了Tree-LSTM，将LSTM推广到树状的网络拓...
[ACL2015]Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks
Deep Learning and NLP Farm
08-15 1210
短语和句子的分布式表示model目前分为三类:(1) bag-of-words models： 不依赖与词序(2) sequence models ：词序敏感 (3) tree-structured models：根据句法树构建句子表示与standard LSTM 相比, Tree-LSTM 有以下这行特性： （1）Tree-LSTM 可能依赖多个子节点 （2）forget gate 可能有多个
Improved Semantic Representations
04-19
标题“Improved Semantic Representations”和描述“Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks”提示了文章的主题集中在如何通过树形结构的长短期记忆网络（Tree-...
树形结构 LSTM 网络提升语义表示
"Improved Semantic Representations from Tree-Structured Long Short-Term Memory Networks" 本文主要探讨了如何通过改进的语义表示来提升序列建模任务的性能，特别是利用树结构的长短时记忆网络（Tree-LSTM）。...
深入理解BERT Transformer ，不仅仅是注意力机制
龙心尘
04-06 3882
作者： 龙心尘 时间：2019年3月 出处：https://blog.csdn.net/longxinchen_ml/article/details/89058309 大数据文摘与百度NLP联合出品 作者：Damien Sileo 审校：百度NLP、龙心尘 编译：张驰、毅航 为什么BERT模型这么重要 BERT是google最近提出的一个自然语言处理模型，它在许多任务检测上表现非常好。如：问答、自...
Improved Semanic Representations From Tree-Structured Long Short-Term Memory Networks
Ying_M
07-17 241
目录论文阅读前期前期知识储备学习目标论文导读论文研究背景、成果及意义句法分析短语结构树依存句法树论文泛读论文结构摘要论文精读论文算法模型总览RNN结构LSTM结构BI-LSTM结构多层LSTM结构论文算法模型细节细节一Child-Sum Tree-LSTMs细节二N-ary Tree-LSTM实验设置及结果分析情感分类句子相似度计算超参与训练实验结果可视化分析论文总结 论文阅读前期 前期知识储备 学习目标 论文导读 论文研究背景、成果及意义 监督学习模型 循环神经网络 解决任意长度句子i问题 真实
论文笔记：Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks
最新发布
qq_40206371的博客
11-21 112
ACL 2015。
相似度论文-Tree_LSTM:Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networ
Hekena的博客
10-23 227
是使用LSTM表征句法结构树，他的出发点是对序列形式的句法表征的改进，是希望使用LSTM表示句法结构树下的句子表征。（句法结构树不同短语依存树）h_L表示句子对中的左边句子，h_R表示句子对中的右边句子。模型结构在句子相似度评测和情感分类中被测试。更上层的LSTM能够捕捉更长的句法依赖。在句子对的相似度评价任务中，，计算方法。正序下的LSTM和倒序下的LSTM。注意是，hj的计算方法变了。
论文阅读及复现 | Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks...
weixin_30352645的博客
09-04 294
两种形式的LSTM变体 Child-Sum Tree-LSTMs N-ary Tree-LSTMs https://paperswithcode.com/paper/improved-semantic-representations-from-tree 转载于:https://www.cnblogs.com/shona/p/11460197.html...
Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks（1）
11-17 191
今天和陈驰，汪鑫讨论了一下，借此记录一下想法。 关于这篇论文，要弄清的地方有： 1、LSTMtree到底是从上往下还是从下往上学的，再确认一下 2、关于每个节点的标注问题 3、label的值到底该怎么定 4、该神经网络的输入形式到底是什么 今天晚上对照了目前学习的两篇LSTM论文，新的发现： 之所以顺序一个是从上到下，另一个是从下到上，仅仅是因为ht取的东西不同！ Imp...
tree-structured Long Short-Term Memory networks
foxparker的专栏
01-14 969
keywords:RNN;LSTM;DNN paper: Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks, Kai Sheng Tai, Richard Socher, and Christopher D. Manning Association for
论文-阅读理解笔记-Predicting DGA with Long Short-Term Memory Networks
塞北战斗民族的博客
06-05 1218
主要贡献：1）引入一个LSTM网络来预测DGA生成的域，据我们所知，这是第一个深度学习到这个域的应用和深入分析;2）呈现完整的实验结果，显示使用开放数据集的文献比先前的技术（实时和回顾性）显着改进; 背景介绍：Domain Generation Algorithms本文评估了对来自30种不同类型恶意软件的DGA生成域进行分类的能力。DGA技术的复杂性从简单的统一生成的域名到那些试图模拟在实际域中看...
有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？
duanruixue的博客
12-07 666
作者：胡新辰 链接：https://www.zhihu.com/question/29411132/answer/51515231 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 刚好毕设相关，论文写完顺手就答了 先给出一个最快的了解+上手的教程： 直接看theano官网的LSTM教程+代码：LSTM Networks for Sent
知乎--LSTM（挺全的）
热门推荐
战斗蜗牛的专栏
05-12 7万+
首页发现话题 登录 加入知乎 有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？ 关注问题写回答 互联网 机器学习 深度学习（Deep
treelstm
fkyyly的专栏
01-10 3320
导读 我们一步一步来。先说最基础的RNN结构： 公式为： 就一个简单的隐层h。 但是RNN的缺点是会有梯度爆炸或者梯度消失问题。这里我就不详细解释了。下面推荐阅读有我之前的RNN，LSTM详细讲解，想更深一步了解的可以去看看。 因为这个致命的问题，有人提出了LSTM网络，改善了RNN的缺点，我们来回顾下： 重新添加了输入门i，输出门o，遗忘门f和记忆单元C，外加之前的一个隐层h（...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值