论文笔记Improving Multi-hop Knowledge Base Question Answering by Learning Intermediate Supervision Signa

Improving Multi-hop Knowledge Base Question Answering by Learning Intermediate Supervision Signals

引用格式：[1]He G, Lan Y, Jiang J, et al. Improving multi-hop knowledge base question answering by learning intermediate supervision signals[C]//Proceedings of the 14th ACM International Conference on Web Search and Data Mining. 2021: 553-561.

这个就是把知识蒸馏的思想应用到了KBQA中

源码：RichardHGL/WSDM2021_NSM: Improving Multi-hop Knowledge Base Question Answering by Learning Intermediate Supervision Signals. WSDM 2021. (github.com)

这篇论文是目前(2022/0614) WebQSP的sota模型，CWQ排名第二。

提出了一种新颖的教师-学生方法用于多跳KBQA任务。在该方法中，学生网络旨在找到查询的正确答案，而教师网络试图学习中间监督信号，以提高学生网络的推理能力。主要的新奇之处在于教师网络的设计，利用正向推理和反向推理来增强中间实体分布的学习。通过考虑双向推理，教师网络可以产生更可靠的中间监督信号，可以缓解虚假推理的问题。

图1 伪多跳推理，

红线：期望路线 蓝线：伪正向路径 紫色虚线：回溯路径

绿圈：主题实体红圈：正确答案黄圈：中间实体灰圈：无关实体

除了最终的答案，多跳KBQA算法还能识别出通向答案实体的合理关系路径。在某些情况下，即使找到了正确的答案，关系路径也可能是假的。图1中给出了一个伪多跳推理的例子。问题是“《弗里茨猫的九条命》中演员主演的电影都是什么类型的?”除了正确的路径(带有红色箭头)外，两个包含在第一步中作为主题的实体的伪路径(带有蓝色箭头)也能够到达正确的答案。这主要是由于中间推理步骤缺乏监督信号(称之为中间监督信号)。对于多跳KBQA任务，训练数据通常以<问题，回答>的形式，而不是理想形式的<问题，关系路径>形式。本文遇到的第一个困难是缺乏监督数据集。

由于训练数据中的主题实体和答案实体都是已知的，因此可以联合建模这两个推理过程。找到从主题实体(即查询中的实体)到答案实体的路径的正向推理和从答案实体返回主题实体的反向推理。即正反两个方向的路径进行推理。

方法介绍：

学生网络是基于神经状态机实现的，该方法最初是为了从图像数据中提取场景图的视觉问答而提出的。将知识库考虑为一个图，使其适应多跳KBQA任务，并在多跳推理过程中保持一个逐渐学习的实体分布。为了开发教师网络，修改NSM的体系结构，加入一种新的双向推理机制，使其在中间推理步骤学习到更可靠的实体分布，随后被学生网络用作监督信号。

用于多跳KBQA的神经状态机（NSM）,主要由一个指令部分和一个推理部分组成。指令组件向推理组件发送指令向量，推理组件推断实体分布并学习实体表示。

图2 NSM的总体示意图

KBQA给定的KB通常非常大。一个实体很可能被链接到大量的其他实体。该初始化方法能够减少噪声实体的影响，专注于重要的关系语义。此外，它也很容易推广到新的或不可见的、具有已知关系的实体，这对增量训练尤其重要。第二，通过集成前嵌入e(k−1)和关系聚合的嵌入˜e(k)来更新实体嵌入。为了进行比较，原来的NSM分别建模了这两个部分，而该论文在一个统一的更新过程中结合了这两个因素，这有助于得到更有效的节点嵌入。简单来说就是，不计算所有的关系，而是提前计算推理指令与关系的匹配程度，并根据匹配程度来更新词嵌入，以此实现关系聚合

 教师网络

 两种教师网络结构

与学生网络不同，教师网络旨在学习或推断中间推理步骤的可靠实体分布。请注意，没有用于培训教师网络的这种标记实体分发。相反，受双向搜索算法(如双向BFS[17])的启发，加入了双向推理机制，以增强教师网络中中间实体分布的学习。

在给定知识库的情况下，多跳KBQA的推理过程可以看作是图上的探索和搜索问题。大多数现有的多跳KBQA方法从主题实体开始，然后寻找可能的答案实体，称为正向推理。

另一方面，以往的研究忽略了从答案实体到主题实体的反向搜索(称之为逆向推理)。

本文的核心思想是在两个方向上都考虑探索，让两个推理过程在中间阶段相互同步。

教师网络的Optimizing，由两个损失函数组成

推理损失(reasoning loss)反映了预测准确实体的能力，Kullback-Leibler divergence KL 散度，这是一个用来衡量两个概率分布的相似性的一个度量指标。以一种不对称的方式测量两个分布之间的差异。

具体来说，如果图中的k个实体符合真值实体，它们在最终分布中的概率为1/k

通信损失(correspondence loss)反映了两种推理过程中间实体分布的一致性程度。可以通过对中间每一步的损失求和来计算Jensen-Shannon divergence JS散度，一种对称的方式测量两个分布之间的差异

对于CWQ和webqsp数据集，我们首先获取主题实体两跳内的邻域图，然后在其上运行PRN算法。进一步对Freebase中的CVT实体进行一跳扩展，得到邻域子图。如表1所示，2跳图足以覆盖大多数回答实体。而在MetaQA数据集上，我们对整个KB运行PRN算法。具体来说，使用PRN算法[1]，e= 1e−6，然后选择m个得分最高的实体。对于较小的MetaQA KB，设置m = 500，对于较大的Freebase，设置m = 2000。对于保留的三元组，其头部和尾部实体均由PRN算法识别的最顶端m个实体得到。我们将三个数据集的统计结果汇总在表1中。实验结果在表2 中

 统计结果

 实验结果

⊗张量积

分布就是符合一定预测规律的概率计算模型

现实生活中，我们使用统计来处理海量的数据，并从数据表现上来预测未来走向，如 人口增长、病毒蔓延、价格波动...不同类型的数据符合各自的变化趋势，统计学家就可以从这个趋势中建立一个数学模型，一个能够完美解释数据的发展历程和预测未来走向的函数关系，这个模型就是“分布”比如，小明经营一家杂货铺，每天必须根据次日的客流量来预定货物。如果已知客流量在不同时间段的变化趋势，也就是分布模型，小明就可以将时间代入模型计算出次日的客人数量，并据此决定进货的数量，避免货物不足或者囤货过多

实体分布（entity distribution）实体的分布律，实体取某个值的概率？

提出了在抽象的潜在空间中进行视觉推理的NSM。对多跳KBQA做了两个主要的调整。首先，通过聚合[（涉及实体的关系）的嵌入]来初始化节点嵌入。

Pagerank算法：PageRank算法的基本想法是在有向图上定义一个随机游走模型，即一阶马尔可夫链，描述随机游走者沿着有向图随机访问各个结点的行为。在一定条件下，极限情况访问每个结点的概率收敛到平稳分布，这时各个结点的平稳概率值就是其PageRank值，表示结点的重要度。PageRank 是递归定义的，PageRank 的计算可以通过迭代算法进行

数量假设:在Web图模型中，如果一个页面节点接收到的其他网页指向的入链数量越多，那么这个页面越重要。

质量假设:指向页面A的入链质量不同，质量高的页面会通过链接向其他页面传递更多的权重。所以越是质量高的页面指向页面A，则页面A越重要。

PR值的计算，列出M（转移矩阵），与V（pr值向量化）,V的初始化为1/N

PR=MxV

PR值的修正1，当M中有一列全为0 的时候，将这一列改为1/N，防止出现死端（Dead end）问题

PR值的修正2，当M矩阵对角线上出现1时（A指向A），引入参数β，β一般取（0.8~0.9）正在上传…重新上传取消

防止出现Spider Traps问题