论文笔记：Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks

ACL 2015

1 Intro

1.1 背景

• LSTM 能够处理序列信息，但是无法处理带有树结构的数据
  • 依存句法分析树 (Dependency Tree)
    • 
  • 成分句法分析树 (Constituency Tree)
    • 

1.2 论文思路

• 为了解决将树结构的数据作为输入训练 RNN 的问题，论文中提出了两种结构的 Tree-Structured LSTM：

  • Child-Sum Tree-LSTMs (Dependency Tree-LSTMs)

    适用于子节点个数不定或者子节点乱序的树结构。

  • N-ary Tree-LSTM (Constituency Tree-LSTMs)

    适用于每个单元的子单元的个数最多是 N，且子单元之间是有序的。

• 

2 方法 

2.1 Child-Sum Tree-LSTMs （dependency tree）

给定树且令 C(j)表示节点 j 的子节点集合，那么 Child-Sum Tree-LSTMs 的计算公式为：

• 与标准 LSTM 结构类似，Tree-LSTM 中每个 cell 都包括类似的输入门 i ，输出门o ，cell state c 和隐层输出 h。
• 不同的地方是：

  • LSTM 中只用到了上一步神经元的隐藏输出 ，而 Tree-LSTM 用到了所有子节点的隐藏输出 。

  • Tree-LSTM 使用了多个遗忘门  来控制多个子节点的 cell state candidate  ck

    • ——>可以选择性地从子节点中获取信息，例如在情感分析任务中去保存语义信息更加丰富的子节点的信息

3 实验

参考内容：【序列模型】基于 Tree-LSTM 的树结构语义表示模型 (qq.com)