本文总结了2015年发表的三篇关于Tree-LSTM结构的论文，探讨如何改进递归神经网络的合并操作，以更好地处理树结构信息。论文提出的方法受到LSTM的影响，引入门机制解决梯度问题，增强长距离依赖关系的捕捉。实验部分，论文以Sentiment Classification任务评估Tree-LSTM的表现，并在不同的树结构和粒度上进行比较。
对于序列数据而言，从最早的 RNN 结构单元，后来衍生出了 LSTM 以及 GRU 等等变种，这些变种单元的功能更好，并且有效解决了RNN的梯度消失/爆炸问题。对于树结构信息来说也是如此，2015年，三篇论文同时期提出了 Tree-LSTM 的结构，分别是：
- 1.Compositional Distributional Semantics with Long Short Term Memory（Phong Le et al., 2015）
- 2.Long Short-Term Memory Over Recursive Structures (Xiaodan Zhu et al., 2015)
- 3.Improved Semantic Representations FromTree-Structured Long Short-Term Memory Networks (KaiSheng Tai et al., 2015)
下面在说的时候论文1，2，3即按照这个顺序
三篇论文的出发点其实是一样的，都是对之前的经典的递归神经网络的合并部分进行改进（也就是从两个/多个子节点合并信息成为一个父节点的处理部分，例如 Socher 最早的 RvNN 结构中就是简单的使用了一个 W 权重矩阵，然后矩阵乘以两个子节点向量的叠加（concatenation））， 当然这里的改进就是受到 LSTM 单元的启发，引入LSTM中一样的记忆单元和门机制来更好地进行组合信息。这个改进的结构就是 Tree-LSTM（不同的论文中的简写不同）。三篇论文
最低0.47元/天 解锁文章
8289
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
