知识库问答

Extracted KBs指直接从网页中抽取出实体关系三元组的知识库。

Extracted KBs 知识库涉及到的两大关键技术是

1. 实体链指(Entity linking) ，即将文档中的实体名字链接到知识库中特定的实体上。它主要涉及自然语言处理领域的两个经典问题实体识别 (Entity Recognition) 与实体消歧 (Entity Disambiguation)，简单地来说，就是要从文档中识别出人名、地名、机构名、电影等命名实体。并且，在不同环境下同一实体名称可能存在歧义，如苹果，我们需要根据上下文环境进行消歧。
2. 关系抽取 (Relation extraction)，即将文档中的实体关系抽取出来，主要涉及到的技术有词性标注 (Part-of-Speech tagging, POS)，语法分析，依存关系树 (dependency tree) 以及构建SVM、最大熵模型等分类器进行关系分类等。

3. 什么是知识库问答

   知识库问答（knowledge base question answering,KB-QA）即给定自然语言问题，通过对问题进行语义理解和解析，进而利用知识库进行查询、推理得出答案。如下图所示

   

   （注：该图片来自中科院刘康老师在知识图谱与问答系统前沿技术研讨会中的报告）

与对话系统、对话机器人的交互式对话不同，KB-QA具有以下特点：

1. 答案：回答的答案是知识库中的实体或实体关系，或者no-answer（即该问题在KB中找不到答案），当然这里答案不一定唯一，比如 中国的城市有哪些 。而对话系统则回复的是自然语言句子，有时甚至需要考虑上下文语境。
2. 评价标准：回召率 (Recall)，精确率 (Precision) ，F1-Score。而对话系统的评价标准以人工评价为主，以及BLEU和Perplexity。

关于KB-QA的方法，传统的主流方法可以分为三类：

• 语义解析（Semantic Parsing）：该方法是一种偏linguistic的方法，主体思想是将自然语言转化为一系列形式化的逻辑形式（logic form）,通过对逻辑形式进行自底向上的解析，得到一种可以表达整个问题语义的逻辑形式，通过相应的查询语句（类似lambda-Caculus）在知识库中进行查询，从而得出答案。

这里给出语义解析方法的一些代表论文

Berant J, Chou A, Frostig R, et al. Semantic Parsing on Freebase from Question-Answer Pairs[C]//EMNLP. 2013, 2(5): 6.

Cai Q, Yates A. Large-scale Semantic Parsing via Schema Matching and Lexicon Extension[C]//ACL (1). 2013: 423-433.

Kwiatkowski T, Choi E, Artzi Y, et al. Scaling semantic parsers with on-the-fly ontology matching[C]//In Proceedings of EMNLP. Percy. 2013.

Fader A, Zettlemoyer L, Etzioni O. Open question answering over curated and extracted knowledge bases[C]//Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2014: 1156-1165.

• 信息抽取（Information Extraction）：该类方法通过提取问题中的实体，通过在知识库中查询该实体可以得到以该实体节点为中心的知识库子图，子图中的每一个节点或边都可以作为候选答案，通过观察问题依据某些规则或模板进行信息抽取，得到问题特征向量，建立分类器通过输入问题特征向量对候选答案进行筛选，从而得出最终答案。信息抽取的代表论文Yao X, Van Durme B. Information Extraction over Structured Data: Question Answering with Freebase[C]//ACL (1). 2014: 956-966.
• 向量建模（Vector Modeling）: 该方法思想和信息抽取的思想比较接近，根据问题得出候选答案，把问题和候选答案都映射为分布式表达（Distributed Embedding），通过训练数据对该分布式表达进行训练，使得问题和正确答案的向量表达的得分（通常以点乘为形式）尽量高，如下图所示。模型训练完成后则可根据候选答案的向量表达和问题表达的得分进行筛选，得出最终答案。

（注：该图片来自论文Question answering with subgraph embeddings）

向量建模方法的代表论文

Bordes A, Chopra S, Weston J. Question answering with subgraph embeddings[J]. arXiv preprint arXiv:1406.3676, 2014.

Yang M C, Duan N, Zhou M, et al. Joint Relational Embeddings for Knowledge-based Question Answering[C]//EMNLP. 2014, 14: 645-650.

Bordes A, Weston J, Usunier N. Open question answering with weakly supervised embedding models[C]//Joint European Conference on Machine Learning and Knowledge Discovery in Databases. Springer Berlin Heidelberg, 2014: 165-180.

以上三种方法的代表论文都集中在13-14年。那么14年之后KB-QA的主流方法是什么呢？

随着深度学习（Deep Learning）在自然语言处理领域的飞速发展，从15年开始，开始涌现出一系列基于深度学习的KB-QA文章，通过深度学习对传统的方法进行提升，取得了较好的效果，比如：

使用卷积神经网络对向量建模方法进行提升：

Dong L, Wei F, Zhou M, et al. Question Answering over Freebase with Multi-Column Convolutional Neural Networks[C]//ACL (1). 2015: 260-269.

使用卷积神经网络对语义解析方法进行提升：

Yih S W, Chang M W, He X, et al. Semantic parsing via staged query graph generation: Question answering with knowledge base[J]. 2015. 

（注 该paper来自微软，是ACL 2015年的Outstanding paper，也是目前KB-QA效果最好的paper之一）

使用长短时记忆网络（Long Short-Term Memory，LSTM），卷积神经网络（Convolutional Neural Networks，CNNs）进行实体关系分类：

Xu Y, Mou L, Li G, et al. Classifying Relations via Long Short Term Memory Networks along Shortest Dependency Paths[C]//EMNLP. 2015: 1785-1794.

Zeng D, Liu K, Lai S, et al. Relation Classification via Convolutional Deep Neural Network[C]//COLING. 2014: 2335-2344.（Best paper）

Zeng D, Liu K, Chen Y, et al. Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks[C]//EMNLP. 2015: 1753-1762.

使用记忆网络（Memory Networks），注意力机制（Attention Mechanism）进行KB-QA：

Bordes A, Usunier N, Chopra S, et al. Large-scale simple question answering with memory networks[J]. arXiv preprint arXiv:1506.02075, 2015.

Zhang Y, Liu K, He S, et al. Question Answering over Knowledge Base with Neural Attention Combining Global Knowledge Information[J]. arXiv preprint arXiv:1606.00979, 2016.

以上论文几乎都使用了Freebase作为knowledge base，并且在WebQuestion数据集上进行过测试，这里给出各种方法的效果对比图，给大家一个更加直观的感受。

 

（注：该图片来自中科院刘康老师在知识图谱与问答系统前沿技术研讨会中的报告）

参考：https://zhuanlan.zhihu.com/p/25735572

语义解析：

语义解析的方法涉及到一些传统linguistic的知识，也是KB-QA三大传统方法中最难以理解的一种方法。

语义解析KB-QA的思路是通过对自然语言进行语义上的分析，转化成为一种能够让知识库“看懂”的语义表示，进而通过知识库中的知识，进行推理（Inference）查询（Query），得出最终的答案。

简而言之，语义解析要做的事情，就是将自然语言的问题，转化为一种能够让知识库“看懂”的语义表示，这种语义表示即逻辑形式（Logic Form）。

参考：https://zhuanlan.zhihu.com/p/25759682

信息抽取：

该类方法通过提取问题中的实体，通过在知识库中查询该实体可以得到以该实体节点为中心的知识库子图，子图中的每一个节点或边都可以作为候选答案。通过观察问题，依据某些规则或模板进行信息抽取，得到表征问题和候选答案特征的特征向量，建立分类器，通过输入特征向量对候选答案进行筛选，从而得出最终答案。

想一想，如果有人问你 “what is the name of Justin Bieber brother?" ，并且给你一个知识库，你会怎么去找答案？显然，这个问题的主题（Topic）词就是Justin Bieber，因此我们会去知识库搜索Justin Bieber这个实体，寻找与该实体相关的知识（此时相当于我们确定了答案的范围，得到了一些候选答案）。接下来，我们去寻找和实体关系brother相关的实体（事实上freebase里没有brother这个实体关系，而是sibling，我们需要进行一个简单的推理），最后得到答案。

而信息抽取的方法，其灵感就是来自于刚才我们的这种思考方式。

根据我们人的思维，当我们确定了问句中的主题词，我们就可以去知识库里搜索相应的知识，确定出候选答案。如果我们把知识库中的实体看作是图节点，把实体关系看作是边，那么知识库就是一个庞大的图，通过问句中的主题词可以找到它在知识库中对应的图节点，我们将该图节点相邻几跳（hop）范围内的节点和边抽取出来得到一个知识库的子图，这个子图作者称为主题图（Topic graph），一般来说，这里的跳数一般为一跳或两跳，即与主题词对应的图节点在一条或两条边之内的距离。主题图中的节点，即是候选答案。接下来，我们需要观察问题，对问题进行信息抽取，获取能帮助我们在候选答案中筛选出正确答案的信息。

参考：https://zhuanlan.zhihu.com/p/25782244

向量建模：

向量建模方法的思想和信息抽取的思想比较接近。首先根据问题中的主题词在知识库中确定候选答案。把问题和候选答案都映射到一个低维空间，得到它们的分布式表达（Distributed Embedding），通过训练数据对该分布式表达进行训练，使得问题向量和它对应的正确答案向量在低维空间的关联得分（通常以点乘为形式）尽量高。当模型训练完成后，则可根据候选答案的向量表达和问题表达的得分进行筛选，找出得分最高的作为最终答案。

此时，你的心中可能会出现两个问题，一是如何将问题和答案映射到低维空间，显然我们不能仅仅将自然语言的问题和答案进行映射，还要将知识库里的知识也映射到这个低维空间中（否则我们就只是在做QA而非KB-QA了）。第二个问题是，如果做过类似工作（one-shot，imgae caption，word embedding等）的朋友应该知道，使用这种方法是需要大量数据去训练这个低维空间的分布式表达的，而KB-QA中的benchmark数据集WebQuestion只含有5800多个问题答案对，这样的数据是难以训练好这种表达的。

参考：https://zhuanlan.zhihu.com/p/25824501