论文浅尝 | 从树结构的长短期记忆网络改进语义表示

论文笔记整理：窦春柳，天津大学硕士，方向：自然语言处理

---

链接：https://arxiv.org/pdf/1503.00075.pdf

动机

由于长短期记忆网络（LSTM）这种具有复杂单元的循环神经网络具有良好的表示序列信息的能力，其在多种序列模型任务中都取得了非常好的结果。到目前为止一直被使用的LSTM是一个线性结构。然而，自然语言表现一种将单词组合在一起形成短语的句法结构。本文引入了Tree-LSTM，将LSTM推广到树状的网络拓扑结构。在两个任务的baseline上，Tree-LSTMs都要优于现有的系统：预测两个句子的语义相关性和情感分类。

亮点

本文的亮点主要包括：

（1）将LSTM推广到树状的网络拓扑结构，并且它展示出比序列LSTM更好的性能。标准LSTM可以看作是Tree-LSTM的一种特殊情况。

（2）利用实验验证了Tree-LSTM作为句子的表示模型，具有很好的效果。主要在两个任务上去评估Tree-LSTM结构：句子对间的语义相关性的预测以及来自于电影影评的句子情感分类。

概念及模型

本文提出了由基本LSTM扩展出的两种结构：Child-Sum Tree-LSTM和N-ary Tree-LSTM。这两个变种均允许更丰富的网络拓扑结构，其中每个LSTM单元能够联合来自多个子单元的信息。

• Tree-LSTM单元

正如标准的LSTM单元那样，Tree-LSTM单元（由j标识）都包含输入输出门i_j, o_j，一个记忆单元 c_j，以及隐