对于序列数据而言,从最早的 RNN 结构单元,后来衍生出了 LSTM 以及 GRU 等等变种,这些变种单元的功能更好,并且有效解决了RNN的梯度消失/爆炸问题。对于树结构信息来说也是如此,2015年,三篇论文同时期提出了 Tree-LSTM 的结构,分别是:
- 1.Compositional Distributional Semantics with Long Short Term Memory(Phong Le et al., 2015)
- 2.Long Short-Term Memory Over Recursive Structures (Xiaodan Zhu et al., 2015)
- 3.Improved Semantic Representations FromTree-Structured Long Short-Term Memory Networks (KaiSheng Tai et al., 2015)
下面在说的时候论文1,2,3即按照这个顺序
三篇论文的出发点其实是一样的,都是对之前的经典的递归神经网络的合并部分进行改进(也就是从两个/多个子节点合并信息成为一个父节点的处理部分,例如 Socher 最早的 RvNN 结构中就是简单的使用了一个 W 权重矩阵,然后矩阵乘以两个子节点向量的叠加(concatenation)), 当然这里的改进就是受到 LSTM 单元的启发,引入LSTM中一样的记忆单元和门机制来更好地进行组合信息。这个改进的结构就是 Tree-LSTM(不同的论文中的简写不同)。三篇论文