知识库问答KB-QA——简介

一、知识库

把大量的知识汇聚起来就成为了知识库。我们可以在wiki百科，百度百科等百科全书查阅到大量的知识。然而这些百科全书的知识组建形式是非结构化的自然语言，为方便计算机的处理和理解，我们需要更加形式化、简洁化的方式去表示知识，那就是三元组（triple）(实体entity,实体关系relation,实体entity)，若把实体看作是结点，把实体关系（包括属性，类别等等）看作是一条边，那么包含了大量三元组的知识库就成为了一个庞大的知识图。

知识库分为两种类型：

1. 以Freebase,Yago2为代表的Curated KBs，它们从维基百科和WordNet等知识库中抽取大量的实体及实体关系，可以把它们理解为是一种结构化的维基百科，被google收购的Freebase中包含了上千万个实体，共计19亿条triple。
   有时会把一些实体称为topic。实体关系也可分为两种：属性property、关系relation。
2. 以Open Information Extraction (Open IE), Never-Ending Language Learning (NELL) 为代表的Extracted KBs，它们直接从上亿个网页中抽取实体关系三元组。与Freebase相比，这样得到的知识更加具有多样性，而它们的实体关系和实体更多的则是自然语言的形式，如“奥巴马出生在火奴鲁鲁。” 可以被表示为(“Obama”, “was also born in”, “ Honolulu”),当然，直接从网页中抽取出来的知识，也会存在一定的noisy，其精确度要低于Curated KBs。

Extracted KBs 知识库涉及到的两大关键技术：

1. 实体链指(Entity linking) ，即将文档中的实体名字链接到知识库中特定的实体上。它主要涉及自然语言处理领域的两个经典问题实体识别 (Entity Recognition) 与实体消歧 (Entity Disambiguation)，简单地来说，就是要从文档中识别出人名、地名、机构名、电影等命名实体。并且，在不同环境下同一实体名称可能存在歧义，如苹果，我们需要根据上下文环境进行消歧。
2. 关系抽取 (Relation extraction)，即将文档中的实体关系抽取出来，主要涉及到的技术有词性标注 (Part-of-Speech tagging, POS)，语法分析，依存关系树 (dependency tree) 以及构建SVM、最大熵模型等分类器进行关系分类等。

二、知识库问答

知识库问答（knowledge base question answering,KB-QA）即给定自然语言问题，通过对问题进行语义理解和解析，进而利用知识库进行查询、推理得出答案。

与对话系统、对话机器人的交互式对话不同，KB-QA具有以下特点：

1. 答案：回答的答案是知识库中的实体或实体关系，或者no-answer（即在KB中找不到答案），当然这里答案不一定唯一，比如 中国的城市有哪些 。对话系统则回复的是自然语言句子，有时甚至需要考虑上下文语境。
2. 评价标准：回召率 (Recall)，精确率 (Precision) ，F1-Score。而对话系统的评价标准以人工评价为主，以及BLEU和Perplexity。

三、知识库问答的主流方法

传统的主流方法可分为三类：

• 语义解析（Semantic Parsing）：该方法是一种偏linguistic的方法，主体思想是将自然语言转化为一系列形式化的逻辑形式（logic form）,通过对逻辑形式进行自底向上的解析，得到一种可以表达整个问题语义的逻辑形式，通过相应的查询语句（类似lambda-Caculus）在知识库中进行查询，从而得出答案。

下图红色部分即逻辑形式，绿色部分where was Obama born 为自然语言问题，蓝色部分为语义解析进行的相关操作，而形成的语义解析树的根节点则是最终的语义解析结果，可以通过查询语句直接在知识库中查询最终答案。

• 信息抽取（Information Extraction）：该类方法通过提取问题中的实体，通过在知识库中查询该实体可以得到以该实体节点为中心的知识库子图，子图中的每一个节点或边都可以作为候选答案，通过观察问题依据某些规则或模板进行信息抽取，得到问题特征向量，建立分类器通过输入问题特征向量对候选答案进行筛选，从而得出最终答案。
• 向量建模（Vector Modeling）: 该方法思想和信息抽取的思想比较接近，根据问题得出候选答案，把问题和候选答案都映射为分布式表达（Distributed Embedding），通过训练数据对该分布式表达进行训练，使得问题和正确答案的向量表达的得分（通常以点乘为形式）尽量高，如下图所示。模型训练完成后则可根据候选答案的向量表达和问题表达的得分进行筛选，得出最终答案。

14年之后KB-QA的主流方法：

从15年开始，开始涌现出一系列基于==深度学习（Deep Learning）==的KB-QA文章，通过深度学习对传统的方法进行提升，取得了较好的效果，比如：

• 使用卷积神经网络对向量建模方法进行提升
• 使用卷积神经网络对语义解析方法进行提升
• 使用长短时记忆网络（Long Short-Term Memory，LSTM），卷积神经网络（Convolutional Neural Networks，CNNs）进行实体关系分类：
• 使用记忆网络（Memory Networks），注意力机制（Attention Mechanism）进行KB-QA

以上方法的论文几乎都使用了Freebase作为knowledge base，并且在WebQuestion数据集上进行过测试，这里给出各种方法的效果对比图：

四、知识库问答的数据集

KB-QA问题的Benchmark数据集——WebQuestion。

该数据集由Berant J, Chou A, Frostig R, et al.在13年的论文Semantic Parsing on Freebase from Question-Answer Pairs中公开。

作者首先使用Google Suggest API获取以wh-word（what，who，why，where，whose…）为开头且只包含一个实体的问题，以“where was Barack Obama born?”作为问题图谱的起始节点，以Google Suggest API给出的建议作为新的问题，通过宽度优先搜索获取问题。具体来讲，对于每一个队列中的问题，通过对它删去实体，删去实体之前的短语，删去实体之后的短语形成3个新的query，将这三个新query放到google suggest中，每个query将生成5个候选问题，加入搜索队列，直到1M个问题被访问完。如下图所示：

获取完问题后，随机选取100K个问题交给Amazon Mechanical Turk (AMT)的工人，让工人回答答案。注意，这里对答案进行了限制，让工人只能把答案设置为Freebase上的实体（entity）、实体列表、值（value）或no-answer。

最终，得到了5,810组问题答案对，其词汇表包含了4,525个词。并且，WebQuestion还提供了每个答案对应知识库的主题节点（topic node）。可以看出WebQuestion的问题与freebase是不相关的，更加偏向自然语言，也更多样化。

其他数据集的信息：

参考文献
揭开知识库问答KB-QA的面纱1·简介篇