《Semantic Parsing via Staged Query Graph Generation: Question Answering with Knowledge Base》读后感

Question Answering with Knowledge Base)

目录

一、摘要和总结

1 摘要部分：

• 提出了一个新颖的语义解析框架，用于使用知识库的问题回答
• 定义了一个查询图，该查询图类似于知识库的子图，并且可以直接映射为逻辑形式。
• 语义解析被简化为查询图生成，被表达为分阶段搜索问题。
• 在早期利用知识库来缩小搜索空间，从而简化了语义匹配问题。
• an advanced entity linking system and a deep convolutional neural network model that matches questions and predicate sequences（谓词序列）
• 数据集合结果：
  

2 总结部分：

没啥新东西

二、Introduction

• the ontology matching problem（本体匹配问题）
• 语义解析的表示能力由适用于每个状态（候选解析）的一组合法动作控制。
• 我们将操作分为三个主要步骤：在问题中定位主题实体，找到答案与主题实体之间的主要关系，并使用附加约束来扩展查询图，这些约束描述了答案需要具有的属性，或者答案与问题中其他实体之间的关系。
• 通过部分地将知识库中某些实体和谓词的语法置于基础上，我们将注意力集中在最有可能导致正确查询图的空间中有希望的领域上，从而使搜索效率大大提高。确定完整的解析。
• 基于卷积网络的语义匹配框架，我们提出了使用连续空间表示而不是纯词汇匹配的更好的关系匹配模型。

三、Background

• 学习将自然语言问题映射到逻辑形式查询q的语义解析器，可以对知识库K执行该逻辑解析器以检索答案。

1 Knowledge Base知识库——Freebase

K中数据结构：

• a special entity category called compound value type (CVT), which is not a real-world entity, but is used to collect multiple fields of an event or a special relationship.

2 Query graph:查询图

• 执行逻辑形式查询等同于找到可以映射到查询的子图，然后解析变量的绑定
• 查询图由四种类型的节点组成：
  
  我们的查询图由四种类型的节点组成：接地实体（圆角矩形），存在变量（圆），lambda变量（阴影圆），聚合函数（菱形）。
  Grounded Entity： existing entities in the knowledge base K.
  Existential variables and lambda variables ：ungrounded entities
• 检索最终可以映射到lambda变量的所有实体作为答案
  Aggregation function: 旨在对特定实体进行操作，该特定实体通常会捕获一些数值属性。
  查询图中的相关节点由有向边连接，并用K中的谓词标记。
  Example:
  
• 
• x is also called the answer node(y包含了满足条件的所有属性，actor只是其中之一)
  逻辑形式（无聚合函数情形）：
  
• cast：全体成员，这里是一种抽样； 形式： 关系（实体1，实体2）
• 本文用的实体、关系等和KB极为相似，不需要进一步转化——————simple λ-DCS

四、Staged Query Graph Generation：分阶段查询图生成

直观理解： root、answer、core inferential chain、aggregation nodes。

分阶段理解：将查询图生成过程正式化为具有阶段性状态和动作的搜索问题。
staged states（阶段状态）：

action（动作）：adding some edges添加一些边的操作

• 以上顺序可以调换
• 可以将分阶段操作的顺序简单地视为修剪搜索空间或偏向探索顺序的另一种方式。
• 使用对数线性模型（log-linear model）在状态空间上定义奖励函数。
  • The reward basically estimates the likelihood that a query graph correctly parses the question.策略在附录A

1 root连接（主题实体）

• 对于知识库中的每个实体e，系统首先准备一个表面形式的词典（a surface-form lexicon），该词典列出了可以在文本中提及e的所有可能方式。
• 然后对主题实体和字典按频率统计可能的关系之类的。为了容忍实体链接系统的潜在错误以及探索更多可能的查询图，最多10个排名最高的实体被视为主题实体。链接分数也将用作奖励功能的功能。
  

2 Identifying Core Inferential Chain

• 转换成 measuring semantic similarity using neural networks.

2.1 深度卷积神经网络（DCNN）

• 通过使用通用符号框替换实体提及，从而将问题映射到模式
  
• 该模型由两个神经网络组成，一个用于模式，另一个用于推理链。两者都映射到k维向量作为网络的输出。然后使用某种距离函数（例如余弦）来计算它们的语义相似度。
  
  
  
  
• 然后是最大池化层，该池提取最突出的局部特征以形成固定长度的全局特征向量**（v）。全局特征向量然后被馈送到前馈神经网络层**，以输出最终的非线性语义特征（y），作为模式或推理链的向量表示。
• Training the model needs positive pairs, such as a pattern like “who first voiced meg on ” and an inferential chain like cast-actor.
• 也可以traversing the paths in the knowledge base that connect the topic entity and the answer

** 模型优势**：

• 单词哈希层有助于控制输入空间的维数，并且可以轻松扩展到大词汇量。捕获了一些子单词语义（例如，具有较小错别字的单词具有几乎相同的字母语法向量），更真实！
• 它使用具有卷积和最大池化层的更深层次的体系结构，它具有更大的表示能力。

3 Augmenting Constraints & Aggregations

• 尽管这组实体显然包含对问题的正确答案（假设主题实体FamilyGuy是正确的），但它还包含不满足隐式或显式提到的其他约束的不正确实体。
• 如何消除歧义：

  • 添加有效谓词
    
    
    

  • 聚合函数（约束）：
    

• 可以通过首先发布核心推理链作为对知识库的查询来找到变量y和x的绑定，从而得出全部可能的约束集。
• 然后枚举这些实体的所有相邻节点。采用简单的规则来仅保留有可能成为合法约束的节点。
  • 也出现在问题中的实体
  • 仅当问题中出现诸如“ first”或“ latest”之类的某些关键字时，才可以添加聚合约束。

4 Learning the reward function：奖励机制

• 用对数线性模型来学习奖励函数。

4.1 功能Features:

• 问题中的提及是否可以链接到该实体，以及约束实体名称中单词的百分比出现在问题中。
• 检索到的答案实体的数量
• 查询图中节点的数量
  

4.2 Learning

• 原则上，一旦特征被提取，就可以使用任何标准的现成学习算法来训练模型。我们不将其视为仅将正确的查询图标记为肯定的二进制分类问题，而是将其视为排名问题。

• 使用基于lambda-rank的单层神经网络模型（Burges，2010年）来训练排名者。

五、Experiments

1 Data & evaluation metric

• WEBQUESTIONS数据集的5,810个问题/答案对
• 平均F1分数被报告为主要评估指标。
• 因为此数据集仅包含问题和答案对，所以我们使用基本上相同的搜索过程来模拟语义分析，以训练CNN模型和整体奖励函数。首先使用相同的实体链接系统为训练数据中的每个问题生成候选主题实体。将候选实体与至少一个答案实体相连的Freebase知识图上的路径被标识为核心推理链。如果推理链查询返回的实体多于正确答案，我们将探索添加约束和聚合节点，直到查询图检索到的实体与标记答案相同，或者无法进一步增加F1score。从搜索过程中生成的不正确的候选图中抽取了负面示例。
• 仅使用达到F1 = 0.5的4,058个仅链查询图来形成并行问题和谓词序列对。整个训练示例中保留了684对模式和推理链，作为坚持的集合，其余作为初始训练集
  

2 Results

• 来自搜索引擎用户的问题通常很简短，其中很大一部分只是询问实体的属性。（仅使用PatChain CNN模型时，性能已经非常强大，胜过所有现有工作。添加其他CNN型号可进一步提高性能，达到51.8％，仅略低于整个系统的性能。）

3 Error Analysis

预期应用程序（问题解答）的准确性仍然很低，仅略高于50％。

• 其中包括标签错误（2％），不完整的标签（17％，例如，只有一首歌被标记为“鲍勃·迪伦写了哪些歌曲？”的答案）和可接受的答案（15％，例如，“中国时光”与“ UTC + 8”）。 8％的错误归因于错误的实体链接；但是，有时提及的内容在本质上是模棱两可的（例如，“谁创立了AFL？”中的AFL可能表示“美式足球联盟”或“美国劳工联合会”）。 35％的错误是由于推论链不正确造成的； 23％是由于不正确或缺少约束。

六、Related Work and Discussion

• 可以通过将标签添加到约束节点以指示无法满足某些条件来处理否定。
• 通过允许在不同的问题模式和KB谓词对之间共享参数，仍可以精确预测训练数据中稀有甚至看不见的对的匹配分数。这是由于以下事实：预测是基于使用所有训练对估计的共享模型参数（即投影矩阵）进行的。（CNN）