项目实训八

树形解码器的decoder部分

在解码器的每个解码步骤中，树解码器需要预测当前子节点的信息，包括子节点和子节点的分支，节点的分支表示节点与子节点之间的空间关系。我们可以通过节点类别和分支来逐步构建一棵数学树。如下图所示，为了解耦分类和空间关系预测，我们在解码器中设计了两个模块：节点分类模块和分支预测模块。

节点类模块

节点类模块主要包括两个GRU，一个注意力机制和一个分类器，我们首先使用两个嵌入层去获得父节点$p_t$高维的特征向量${\mathbf{e}}_t^{\mathrm{p}}$和${\mathbf{e}}_t^{\mathrm{r}}$以及其空间关系$r_t$。节点解码器${\mathbf{s}}_{t-1}^{\mathrm{n}\mathrm{o}\mathrm{d}\mathrm{e}}$的先前隐藏状态被视为${\mathbf{G}\mathbf{R}\mathbf{U}}_1^{\mathrm{n}\mathrm{o}\mathrm{d}\mathrm{e}}$层的先前隐藏状态。父节点的嵌入层${\mathbf{e}}_t^{\mathrm{p}}$和空间关系节点的嵌入层${\mathbf{e}}_t^{\mathrm{r}}$一起作为${\mathbf{G}\mathbf{R}\mathbf{U}}_1^{\mathrm{n}\mathrm{o}\mathrm{d}\mathrm{e}}$的输入，然后就可以得到${\mathbf{G}\mathbf{R}\mathbf{U}}_1^{\mathrm{n}\mathrm{o}\mathrm{d}\mathrm{e}}$的当前隐藏状态${\tilde{\mathbf{S}}}_t^{\text{node }}$。
$${\mathbf{e}}_t^{\mathrm{p}}={\mathrm{Emd}}_{\text{node }}\left(p_t\right)$$$${\mathbf{e}}_t^{\mathrm{r}}={\mathrm{E}\mathrm{m}\mathrm{d}}_{\mathrm{r}\mathrm{e}}\left(r_t\right)$$$${\tilde{\mathbf{s}}}_t^{\text{node }}={\mathrm{GRU}}_1^{\text{node }}\left(\left[{\mathbf{e}}_t^{\mathrm{p}},{\mathbf{e}}_t^{\mathrm{r}}\right],{\mathbf{s}}_{t-1}^{\text{node }}\right)$$
然后，节点注意力机制模块$f_{\text{att }}^{\text{node }}$被用来在特征映射A上的注意可能性${\alpha }_t^{\text{node }}$，通过计算在A上的权重之和来获得节点上下文向量${\mathbf{c}}_t^{\text{node }}$，这里使用${\tilde{\mathbf{S}}}_t^{\text{node }}$作为query并且A作为key和value。
$${\mathbf{\alpha }}_t^{\text{node }}=f_{\mathrm{a}\mathrm{t}\mathrm{t}}^{\text{node }}\left(\mathbf{A},{\tilde{\mathbf{s}}}_t^{\text{node }}\right)$$$${\mathbf{c}}_t^{\text{node }}=\sum {\alpha }_{ti}^{\text{node }}{\mathbf{a}}_i$$
函数$f_{\text{att }}^{\text{node }}$如下：
$${\mathbf{F}}^{\text{node }}={\mathbf{Q}}^{\text{node }}\ast \sum _{l=1}^{t-1}{\mathbf{\alpha }}_l^{\text{node }}$$$$e_{ti}^{\text{node }}=V_{\text{node }}^{\mathrm{T}}\tanh \left({\mathbf{W}}_{\text{att }}^{\text{node }}{\tilde{\mathbf{s}}}_t^{\text{node }}+{\mathbf{U}}_{\text{att }}^{\text{node }}{\mathbf{a}}_i+{\hat{\mathbf{U}}}_{\mathrm{F}}^{\text{node }}{\mathbf{f}}_i^{\text{node }}\right)$$$${\alpha }_{ti}^{\text{node }}=\frac{\exp \left(e_{ti}^{\text{node }}\right)}{{\sum }_k\exp \left(e_{tk}^{\text{node }}\right)}$$
${\alpha }_{ti}^{\text{node }}$表示第t步的第i个元素的节点的可能性，$e_{ti}^{\text{node }}$表示第i步的输出，${\mathbf{f}}_i^{\mathrm{n}\mathrm{o}\mathrm{d}\mathrm{e}}$表示函数${\mathbf{F}}^{\text{node }}$的第i个元素，这是以前的注意模块，为了避免过度解析或者解析不足的问题，其余为学习参数。
接着，使用${\mathbf{c}}_t^{\text{node }}$和${\tilde{\mathbf{s}}}_t^{\text{node }}$作为${\mathbf{G}\mathbf{R}\mathbf{U}}_2^{\text{node }}$的输入来计算预测模块隐藏状态${\mathbf{s}}_t^{\text{node }}$
$${\mathbf{s}}_t^{\text{node }}={\mathrm{GRU}}_2^{\text{node }}\left({\mathbf{c}}_t^{\text{node }},{\tilde{\mathbf{s}}}_t^{\text{node }}\right)$$最后通过父节点${\mathbf{e}}_t^{\text{p}}$，与父节点的关系${\mathbf{e}}_t^{\text{r}}$，节点的隐藏状态${\mathbf{s}}_t^{\text{node }}$以及上下文向量${\mathbf{c}}_t^{\text{node }}$的聚合来计算预测节点${\mathbf{o}}_t^{\text{node }}$的可能性：$${\mathbf{h}}_t^{\text{node }}=\mathrm{maxout}\left({\mathbf{W}}_1^{\text{node }}\left[{\mathbf{e}}_t^{\mathrm{p}},{\mathbf{e}}_t^{\mathrm{r}},{\mathbf{s}}_t^{\text{node }},{\mathbf{c}}_t^{\text{node }}\right]\right)$$$${\mathbf{o}}_t^{\text{node }}=\mathrm{softmax}\left({\mathbf{W}}_2^{\text{node }}{\mathbf{h}}_t^{\text{node }}\right)$$其中W参数为学习参数。
我们使用cross-entropy函数来计算分类的损失函数$${\mathcal{L}}_{\text{node }}=-\sum \log {\mathbf{o}}_t^{\text{node }}\cdot {\mathbf{n}}_t$$${\mathbf{n}}_t$表示第t步节点真实值的独热向量。

上周只进行了模块分析和一部分代码的编写，这周将完成者模块代码的编写。