项目实训九

上两周主要完成树形解码器的框架分析以及节点类预测模块的代码编写。既然完成了节点类预测，即符号预测，那么就可以进行分支预测代码的编写，即空间关系的预测，下面记录一下空间关系预测模块的结构

分支预测模块

分支预测模块的总体结构与节点类预测模块基本相同，只在空间注意力机制方面稍微有所不同。在分支预测模块，首先将分支预测模块上一步的隐藏状态${\mathbf{s}}_{t-1}^{\mathrm{b}\mathrm{r}}$作为${\mathrm{G}\mathrm{R}\mathrm{U}}_1^{\mathrm{b}\mathrm{r}}$层的上一个隐藏状态，节点的上下文向量${\mathbf{c}}_t^{\text{node }}$作为${\mathrm{G}\mathrm{R}\mathrm{U}}_1^{\mathrm{b}\mathrm{r}}$的输入，然后可以得到${\mathrm{G}\mathrm{R}\mathrm{U}}_1^{\mathrm{b}\mathrm{r}}$的隐藏状态${\tilde{\mathbf{S}}}_t^{\mathrm{b}\mathrm{r}}$:
$${\tilde{\mathbf{s}}}_t^{\mathrm{b}\mathrm{r}}={\mathrm{G}\mathrm{R}\mathrm{U}}_1^{\mathrm{b}\mathrm{r}}\left({\mathbf{c}}_t^{\mathrm{n}\mathrm{o}\mathrm{d}\mathrm{e}},{\mathbf{s}}_{t-1}^{\mathrm{b}\mathrm{r}}\right)$$
接着分支预测模块$f_{\text{att }}^{br}$被用来计算特征映射A上的注意可能概率 α t b