读论文 Deep Recursive Neural Networks for Compositionality in Language

读论文 Deep Recursive Neural Networks for Compositionality in Language

递归神经网络包括一类可以对结构化输入进行操作的体系结构。 它们之前已成功应用于使用基于分析树的结构表示的自然语言中的模型组合。尽管这些架构结构很深，但它们缺乏传统深度前馈网络以及最近研究的深度递归神经网络中存在的分层表示的能力。 在这项工作中，我们引入了一种新的架构 - 一种深度递归神经网络（深度RNN） - 通过堆叠多个递归层来构建。 我们根据细粒度情感分类的任务评估所提出的模型。 我们的结果表明，深度RNN优于使用相同数量参数的相关浅层对应物。 此外，我们的方法优于以前的情绪分析任务基线，包括乘法RNN变体以及最近引入的段落向量，实现了最新的最新结果。 我们提供了对多层效果的探索性分析，并表明它们捕捉了语言中组合性的不同方面。

作者以图a作为基础递归网络模型，并使用下面的方式合并左右节点：

W_L,W_R,为左右节点组合成父节点的权重。

为了区分叶子节点和内部节点，作者使用图b的方法构造递归树，其公式如下：

内部节点与叶子节点使用不同的权重矩阵

（1）现在权重矩阵W_xh·和W_hh·的大小为| h |×| x |且| h |×| h |这意味着我们可以使用大的预训练单词向量和少量隐藏单位而不会对单词向量维数| x |进行二次依赖。因此，可以通过使用具有大维度的预训练单词向量来训练小而强大的模型。 （2）由于单词和短语在不同的空间中表示，我们可以使用f的整流器激活单元，这些单元在训练深度神经网络时已经显示出很好的结果[15]。字向量是密集的并且通常具有正和负条目，而整流器激活导致所得到的中间向量是稀疏的和非负的。因此，当叶子和内部在同一空间中表示时，出现差异，并且相同的权重矩阵应用于叶子和内部节点，并且期望处理稀疏和密集情况，这可能是困难的。因此，分离叶片和内部节点允许以更自然的方式使用整流器

深层递归网络：

深层递归网络就是对每一个叶子节点和内部节点，继续做前向传播操作，其构造公式如下

其中h^(i-1),为上一层节点输出。