引入
先前研究过的LSTM结构是一个线性链。然而,自然语言有将单词自然地组合成短语的句法特性。
图中非叶子结点也有输入,应该是Dependency parsing Tree
Dependency parsing 和 Constituency parsing
输入句子: “We saw the yellow dog”
Constituency parsing
Dependency parsing
标准LSTM
详见https://blog.csdn.net/ltochange/article/details/118942985
树形lstm
论文提出两个树形结构的lstm:
- the Child-Sum Tree-LSTM
- the N-ary Tree-LSTM
相比标准的lstm,树形lstm包含多个孩子结点的隐藏状态h和记忆单元c,以二叉树为例:
the Child-Sum Tree-LSTM
相比于标准LSTM,这里首先将多个孩子结点的隐层状态求和;在更新记忆单元时,使用多个遗忘门控制孩子结点信息的保留。
因为这里将孩子结点的隐层状态求和,而忽略了孩子结点之间的顺序,因此适合孩子结点无序的树结构 或者 分支因子高的树结构(相对于the N-ary Tree-LSTM结构来说的,该结构复杂度更高,不适合用于分支因子高的)
例如,可用于 Dependency Tree 依存句法树,称为 Dependency Tree-LSTM
the N-ary Tree-LSTM
对于每个孩子结点的隐层输出,都有各自对应的参数。除此以外,由公式10可知,该结构还会考虑不同孩子之间的关系。
该结构可用于Constituency Tree 选区树,因为Constituency Tree的孩子结点存在先后顺序, 称为 Constituency Tree-LSTMs
实验
两个任务
(1)句子情感分类:五分类和二分类
使用了短语级别的情感标签,如果训练集中存在的话,也会计算loss
m是所有带标签的结点的数量
(2)句子对的语义相关度评分
通过预测评分来得到预测评级
根据标签y构建实际概率分布:
1
≤
i
≤
K
1\leq i \leq K
1≤i≤K
使用KL散度(衡量两个分布之间差异),计算损失函数:
m是训练句子对
结果
情感分类
句子对相关度评分