Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks

代码位置
论文原文

研究意义

LSTM具有超时保存序列信息的优良性能，同时更复杂的计算单元，因此在众多的序列任务中取得了很好的效果，仅仅基于LSTM结构至今仍然是一个线性链。然而，自然语言表现出自然地将单词与短语组合在一起的句法性质。本文提出了树结构的LSTM，将LSTM推广到树状的网络拓扑结构，Tree-LSTMs在预测两个句子的语义相关性和电影评论中进行情感分类两个方面上进行实验，证明都要优于现有的系统。
如图所示，上面的为Lstm的线性，下面图是Lstm的树形：

提出模型

LSTM

循环神经网络（RNNs）能够通过在隐藏状态向量ht循环应用转移函数来处理任意长度的输入序列。在每一时刻t t，其隐藏态ht是一个由当前时刻的输入向量xt 和上一时刻的隐藏态ht−1构成的函数。例如，输入向量xt可以是文本中第t tt个单词的向量表示。隐藏态ht能够被解释为t时刻所观测到的由单词所组成的句子的多维分布式表示。运用的相关公式如下所示：