Question Answering on Freebase via Relation Extraction and Textual Evidence论文笔记

Question Answering on Freebase via Relation Extraction and Textual Evidence
ACL（2016）

摘要

现有的基于知识的问答系统往往依赖于小样本的训练数据。虽然浅层方法（如关系抽取）对数据稀缺性具有鲁棒性，但它们的表现力不如语义分析等深层含义表示方法，因此无法解决涉及多个约束的问题。在这里，我们通过使用Wikipedia的附加信息增强关系抽取方法来缓解这个问题。我们首先提出了一个基于神经网络的关联抽取器来从Freebase中检索候选答案，然后通过Wikipedia进行推理来验证这些答案。在WebQuestions问答数据集上的实验表明，该方法的F1值为53.3%，大大提高了现有的水平。

引言

信息检索的方法会遇到很多的困难，比如：
然而，处理涉及多个实体和关系的组合问题仍然是一个挑战。考虑一下：what mountain is the highest in north america么。由于缺乏对highest的复杂表示，关系提取方法通常适用于all the mountains in North America。要选择正确的答案，你必须检索所有的山的高度，并按降序排序，然后选择第一个答案。我们提出了一种基于文本佐证的方法，可以在不隐式求解数学函数的情况下回答这些问题。

Method

具体来说，首先执行实体链接来识别问题中的主题实体及其可能的freebase实体。然后使用关系提取器来预测freebase中问题实体和答案实体的潜在关系。随后，对实体链接和关系提取结果执行联合推理步骤，以找到最佳实体关系配置，从而生成候选答案实体列表。在第2步中，通过应用一个答案优化模型来优化这些候选答案，该模型考虑主题实体的Wikipedia页面，过滤出错误的答案并选择正确的答案。

受Bao等人（2014）的启发，我们设计了一种基于依存树的方法来处理这种多关系问题。首先使用附录中列出的句法模式将原始问题分解为一组子问题。通过将其所有子问题的答案集相交得到原问题的最终答案。这些子问题在Freebase和Wikipedia上分别回答。

Inference on Freebase

Entity Linking

对于每个问题，我们使用人工构建的词类序列来识别所有可能的命名实体提及范围，在每个阶段，使用实体链接工具S-MART2（Yang and Chang，2015）从Freebase中检索前5个主题。

这些实体被视为候选实体，最终在联合推理步骤中被消除。对于给定的提及范围，S-MART首先通过字面匹配检索Freebase的所有可能实体，然后使用统计模型对它们进行排序，该模型根据实体出现的字面形式的频率计数进行训练。

Relation Extraction

MCCNNs for Relation Classification

Syntactic Features

我们使用实体提到和问题词之间依赖树(Stanford CoreNLP dependency parser (Manning et al., 2014).)的最短路径作为第一个通道的输入。与Xu et al.（2015）类似，将路径视为单词向量、依赖边缘方向和依赖标签的串联，并将其输入到卷积层。需要注意的是，实体提及和疑问词被排除在依赖路径之外，以便在句法层面上学习更一般的关系表示。如图2所示，who和shaq之间的依赖路径是←dobj–play–nsubj→。

Sentential Features

该通道以句子中的单词作为输入，不包括问题词和实体提及。如图2所示，did、first、play和for的向量被输入这个通道。

Objective Function and Learning

利用训练数据中的问题对及其对应的gold关系来学习模型。给定一个输入问题x和一个带注释的实体，网络输出一个向量$o(x)$，其中条目$o_k(x)$是实体和预期答案之间存在第k个关系的概率。

Joint Entity Linking & Relation Extraction

实体链接和关系提取的pipline可能会发生错误累积。正如我们所知，实体和关系有很强的选择偏好，即某些实体不会与某些关系一起出现，反之亦然。局部优化模型无法利用这些隐含的双向关系。因此，我们使用联合模型从局部预测中寻找全局最优的实体关系分配。其核心思想是从两个局部模型和知识库中提取各种线索，使一个正确的实体关系赋值排序高于其他组合。

learning

假设该对$(e_{gold}，r_{gold})$代表问题q的gold实体/关系对。 我们对q进行所有实体和关系预测，从q创建实体和关系对