论文笔记：Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank 递归神经网络总结

“Recursive Deep Models for Semantic Compositionality Over Sentiment Treebank”这篇论文发表于 EMNLP 2013，主要作者是 Richard Socher，非常响当当的人物，在NLP方向的论文中，经常可以看到这个名字， Socher的在2010-2015年间的很多工作都与递归神经网络有关，Recursive Neural Network 很多地方会把它也简写为 RNN ，与循环神经网络同名，为了区别，我一般会写成 RvNN。
Socher在这篇论文之前已经有好几篇关于 RvNN 的论文了（如果感兴趣可以看文中的参考文献部分，其中 Socher 为第一作者的基本上都是RvNN相关的工作），我没有仔细看他之前的论文，这些相关的工作在斯坦福大学的有关深度学习的公开课中都有提及，例如CS224N之类的。实际上，这篇论文就像是之前一系列工作的一个总结，之前的一些工作在本文中都可以找到介绍。

1.主要解决问题

论文中有两项工作：

• 提出 RNTN 模型，也是 RvNN 的一个变种。
• 介绍 Stanford Sentiment Treebank（SST），也是后面论文中广泛使用的一个数据集

根本来说， RNTN 的提出还是解决 Semantic Composition 的问题，简单来说就是，如何从单词出发，得到句子或者短语的表示，例如，在之前的工作中我们有 word2vec 和 Glove等词向量，那么现在的问题就是如何从这些词向量得到句子的向量表示

2. 背景介绍

关于 Seman