Long Short-Term Memory Over Tree Structures

这里首先要明白两种网络：

1. recursive neural network 递归神经网络：网络是定义在递归树结构上，每一个树结点是从它的孩子计算出来的向量。叶子节点和中间节点自底向上的组合。
2. recurrent neural network 循环神经网络：链式结构，LSTM是循环神经网络的特例。

递归神经网络示例，来自论文Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank

句子的语义并不是单词的线性的拼接；相反，句子有解析结构。

论文将LSTM扩展为树形结构，称为S-LSTM。S-LSTM可以看作是上述两种网络的结合。

利用S-LSTM来代替recursive neural network中的语义组合层，从而更好的学习不同文本片段组合之后的文本语义表征。

与先前的recurrent neural network相比，S-LSTM有避免梯度消失的潜力，通过树结构对长距离交互进行建模。

S-LSTM的例子

图中的圆圈和横线分别代表pass（通过）和block（阻滞）；这里通过LSTM中的遗忘门实现，是一个概率值。可以看出有多少个孩子结点，就有多少个遗忘门。孩子节点之间是没有交互的

S-LSTM模型

S-LSTM的记忆单元包括一个输入门，一个输出门，和多个遗忘门（数量和孩子的结点数相同），图中是给出的二叉树的结构，所以有两个遗忘门，此结构在现实生活中应该有很多应用，也可以把一般的树转化为二叉树。

对应的计算公式如下：

$i_t=\sigma (W_{hi}^L{h}_{t-1}^L+W_{hi}^R{h}_{t-1}^R+W_{ci}^L{c}_{t-1}^L+W_{ci}^R{c}_{t-1}^R+b_i)$

$f_t^L=\sigma (W_{h{f}_l}^L{h}_{t-1}^L+W_{h{f}_l}^R{h}_{t-1}^R+W_{c{f}_l}^L{c}_{t-1}^L+W_{c{f}_l}^R{c}_{t-1}^R+b_{f_l})$

$f_t^R=\sigma (W_{h{f}_r}^L{h}_{t-1}^L+W_{h{f}_r}^R{h}_{t-1}^R+W_{c{f}_r}^L{c}_{t-1}^L+W_{c{f}_r}^R{c}_{t-1}^R+b_{f_r})$

$$\begin{array}{rl}{x}_t& =W_{hx}^L{h}_{t-1}^L+W_{hx}^R{h}_{t-1}^R+b_x\\ c_t& =f_t^L\otimes c_{t-1}^L+f_t^R\otimes c_{t-1}^R+i_t\otimes \tanh \left(x_t\right)\\ o_t& =\sigma \left(W_{ho}^L{h}_{t-1}^L+W_{ho}^R{h}_{t-1}^R+W_{co}{c}_t+b_o\right)\\ h_t& =o_t\otimes \tanh \left(c_t\right)\end{array}$$

与标准的LSTM区别在于:

(1) 标准的LSTM将上一个时刻的$h_{t-1}$，$c_{t-1}$作为$t$时刻的输入，而S-LSTM需要考虑左右孩子结点。

(2) 标准的LSTM每个时刻都有当前时刻对应的输入$x_t$,而S-LSTM对应的输入$x_t$来自于左右孩子结点隐层状态

反向误差传递的时候要区分当前处理的节点是左孩子还是右孩子。反向传播的时候，先计算各个门的的导数，然后再计算权重的导数，做更新。

目标函数需要考虑输出结构，依赖问题规模，本文定义目标函数是最小化所有节点的交叉熵的和。

$$E(\theta )=\sum _i\sum _j{t}_j^i\log y^{se{n}_i}{}_j+\lambda \Vert \theta {\Vert }_2^2$$

实验

在Stanford Sentiment Tree Bank 进行情感五分类的实验，该数据集不仅包含句子级别的情感类别信息，还包含了短语级别的情感类别信息，详见介绍

RvNN 递归神经网络
RNTN 论文Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank
提出的模型