Improved Semantic Representations From Tree-Structured Long Short-Term Memory Network阅读笔记

最新推荐文章于 2021-07-20 19:57:47 发布

Muasci

最新推荐文章于 2021-07-20 19:57:47 发布

阅读量334

点赞数

分类专栏：文献阅读之家

本文链接：https://blog.csdn.net/jokerxsy/article/details/111352261

版权

51 篇文章 4 订阅

订阅专栏

标题

《Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks》
项目地址:https://github.com/stanfordnlp/treelstm

基于传统LSTM的各种复杂模型的结构都是线性链，而句子、短语都是由单词自然地组成，并不一定是线性的。本文提出的tree-lstm并不是只能考虑给定句子树结构的情况，特殊情况下，tree-lstm就会恢复成传统的序列lstm，所以tree-lstm更像是lstm的一种范式。

在这里插入图片描述
Child-Sum Tree-LSTMs（基于依存树）

处理依存树的树形LSTM变体是Child-Sum Tree-LSTMs。他所用到的原因是依存树的孩子节点是无序的而且对于每一个父节点，他所拥有的孩子节点是不限制个数的。
非叶子节点的隐层计算过程:
输入:

计算:

把所有孩子节点的隐层求和，得到输入的隐层
使用该隐层，以及当前节点所对应的单词向量计算三个门(输入门、遗忘门、输出门)。其中，模型为每一个孩子节点都计算了一个遗忘门，每一个孩子节点具体计算方式为:使用当前节点所对应的单词向量和该孩子节点的隐层计算
计算 $u_j$ ，理解为当前节点的综合输入
计算 $c_j$ ，使用当前节点所对应的单词向量，和所有孩子节点的遗忘门，和所有孩子节点的记忆细胞计算
根据 $c_j$ 计算 $h_j$

在这里插入图片描述
N-ary Tree-LSTMs(基于短语结构树)
短语结构树每一个父节点的孩子节点是有序的而且限制个数为N个。
非叶子节点的隐层计算过程:
输入:

当前节点所对应的单词向量
当前节点所有孩子节点的隐层
当前节点所有孩子节点的记忆细胞
计算:
并没有把所有孩子节点的隐层求和，而是给每一个孩子节点都设定一个单独的权重
计算三个门(输入门、遗忘门、输出门)。其中，计算遗忘门的时候，一共涉及到了N * N-1个参数矩阵。这是因为，对于每一个孩子节点k来说，它的遗忘门计算涉及到了 $\sum_{l=1}^{N}U_{kl}h_{l}(l≠k)$
计算 $u_j$ ，理解为当前节点的综合输入
计算 $c_j$ ，使用当前节点所对应的单词向量，和所有孩子节点的遗忘门，和所有孩子节点的记忆细胞计算
根据 $c_j$ 计算 $h_j$

在这里插入图片描述

文中没有提到缺点。

关注