Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks

引入

先前研究过的LSTM结构是一个线性链。然而，自然语言有将单词自然地组合成短语的句法特性。

图中非叶子结点也有输入，应该是Dependency parsing Tree

Dependency parsing 和 Constituency parsing

输入句子： “We saw the yellow dog”

Constituency parsing

Dependency parsing

标准LSTM

详见https://blog.csdn.net/ltochange/article/details/118942985

树形lstm

论文提出两个树形结构的lstm：

1. the Child-Sum Tree-LSTM
2. the N-ary Tree-LSTM

相比标准的lstm，树形lstm包含多个孩子结点的隐藏状态h和记忆单元c，以二叉树为例：

the Child-Sum Tree-LSTM

相比于标准LSTM，这里首先将多个孩子结点的隐层状态求和；在更新记忆单元时，使用多个遗忘门控制孩子结点信息的保留。

因为这里将孩子结点的隐层状态求和，而忽略了孩子结点之间的顺序，因此适合孩子结点无序的树结构 或者 分支因子高的树结构（相对于the N-ary Tree-LSTM结构来说的，该结构复杂度更高，不适合用于分支因子高的）

例如，可用于 Dependency Tree 依存句法树，称为 Dependency Tree-LSTM

the N-ary Tree-LSTM

对于每个孩子结点的隐层输出，都有各自对应的参数。除此以外，由公式10可知，该结构还会考虑不同孩子之间的关系。

该结构可用于Constituency Tree 选区树，因为Constituency Tree的孩子结点存在先后顺序， 称为 Constituency Tree-LSTMs

实验

两个任务

（1）句子情感分类：五分类和二分类

使用了短语级别的情感标签，如果训练集中存在的话，也会计算loss


m是所有带标签的结点的数量

（2）句子对的语义相关度评分

通过预测评分来得到预测评级

根据标签y构建实际概率分布：

$1\le i\le K$

使用KL散度（衡量两个分布之间差异），计算损失函数：

m是训练句子对

结果

情感分类

句子对相关度评分