论文笔记 | Integrating subgraph-aware relation and direction reasoning for QA | ICASSP 2021

论文题目： Integrating subgraph-aware relation and direction reasoning for QA
论文作者：Xu Wang, Shuai Zhao, Bo Cheng, Jiale Han, Li Yingting, Hao Yang, Ivan Sekulic and Guoshun Nan
论文链接：https://arxiv.org/pdf/2104.00218.pdf

---

这篇论文通过将关系作为节点与direction information来提升端到端的KBQA的性能。

动机：

1、如下图Fig1(left)左所示，从问题相关的 KB 子图中获取答案只依赖固定的关系表示，子图中的关系与实体之间缺乏交互。
2、direction information of reasoning 在现有工作中尚未得到充分探索

Fig. 1.(a):The information flow direction of the previousapproaches (left) and two new propagation flows (right) proposed are represented by the red lines.

---

模型：

Model：Relation-updated Direction-guided Answer Selector（RDAS）
针对上述动机，作者提出将关系转换为节点，并使用 direction information 增强推理能力。

1. 将子图中的关系转换为节点，在实体关系之间构建邻接矩阵，使用周围的实体信息更新关系表示。
   
   Fig. 2. Transforming relation edges into relation nodes. Weregard 0-Hop nodes as seed nodes. Entity nodes are green andrelation nodes are gray.

2. 使用 direction information 增强推理能力
   
   Fig. 3. The subgraph shape before and after integrating direction information. We regard the 0-Hop node as the seed node,and then we change the direction of the edges between e2 and e3,e1 and e4.

   1. 先在每两个邻接节点之间添加一条反向边，确保信息可以双向传播。
   2. 采用人类搜索问题答案的方式，mask 掉 inside-directed 的边，保证搜寻路径沿着 outside-directed edges。

   右侧即为整合了direction信息的子图。
   
   Fig. 1.(b):A part of question-related subgraph used to answer the given question. Previous models make information propagate along the direction of the black lines to execute the reasoning process. Human behavior reasoning is in the direction of red edges.

   如图 (b) 中红线所示，即为人类搜索答案的方式：从 0-Hop 节点 “Dina Korzun” 开始，基于关系 “the films acted by Dina Korzun” 挑选出 1-Hop 节点“Cold Souls”，再基于关系“ What genres are the films in” 挑选出 “Dina Korzun“ 的 2-Hop 节点 “Drama”。最终，2-Hop 节点 “Drama” 即为问题答案。

3. 在子图上进行推理，为每个节点计算节点表示。
   通过上述两步，可得到子图 $K_e=(V_e,E_e,R_e)$

   节点初始化：
   用预训练的单词向量将节点$e_v$表示为$w_v\in R^n$，将节点$e_v$到种子节点的距离编码为$d_v\in R^n$，将两者拼接作为初始节点表示。
   $$n_v=[w_v;d_v]W^{2n\times n},n_v\in R^n$$
   添加距离信息的作用：可以根据推理当前问题答案所需跳数更好地更新节点。

   问题表示：$q=LSTM(w_1^Q,...,w_{|Q|}^Q)$

   节点更新：
   为了避免问题不可知的节点，先将节点表示与问题拼接起来，即 $h_v^0=[n_v;q]$
   对每个节点$e_v$执行GCN，计算更新信息：
   
   门控机制决定将多少更新信息$u_v^{l+1}$传播到下一步，gate levels 的计算为：
   
   下一层表示$h_v^{l+1}$是前一层表示$h_v^l$与更新信息$u_v^{l+1}$的非线性转换的一个门控结合。
   
   模型按这样的网络堆叠L层，通过L次的卷积，节点不断更新状态，模拟推理过程。节点的最后一层表示为$h_v^L$。

4. 答案预测
   对每个节点进行二进制分类：
   
   模型训练：
   节点为答案，$y_v=[0,1]$，否则，$y_v=[1,0]$
   

---

实验：

评估指标：Hits@1， Full
Hits@1：将预测出的second dimension value最大的节点作为最终答案，判断其是否在标准答案集中。
Full：second dimension value大于first dimension value时，该实体被当作预测出的答案节点。预测答案集与标准答案集相同时，Full=1。

Table 1. Experimental results on the MetaQA datasets. The symbol * indicates the numbers are from the original papers.

Table 2. Experimental results on the PQL datasets.

消融实验：

Table 3. Ablation experiments of RDAS.

No RN：means removing relations nodes
No Direction：expresses removing direction information
No DE：means removing distance embedding

---