nlp论文阅读:When Are Tree Structures Necessary for Deep Learning of Representations?

When Are Tree Structures Necessary for Deep Learning of
Representations?
1. Recurrent models（看作是Sequence models）在时间序列数据中应用得很成功，例如speech 或者handwriting recognition.它们应用在早期的NLP中，通过对句子建模成序列化的tokens (tokens processed sequentially)，在每一步中结合当前的token和预先建立的embeddings. Recurrent models可以被拓展为双向的，从左往右、从右往左。
2. Recursive neural models(也被称为tree models),相反，是用过syntactic parse tree来建立的。很多recursive models被提出用于NLP，例如entailment, sentiment analysis, question-answering, relation classification 以及discourse.
Recursive models的一个优点是，它们能够捕获长距离的依赖(capture long-distance dependencies):两个tokens可能在结构上互相接近，尽管它们在词的序列(word sequence)上相距很远。例如，一个动词和它相对应的直接对象可以有很远的距离，如果它们之间有很多的形容词，但是在parse tree中它们的相邻的。然而，我们不知道这个优点是否是真正重要的。事实上，recursive models的依赖也是一个潜在的缺点，给定parsing相对来说慢、领域依赖（domain dependent），也可能有错误。