基于知识图谱的问答系统(上)

基于知识图谱的问答系统(上)

本项目是基于知识图谱的问答系统，BERT+BILSTM+CRF做命名实体识别和句子相似度比较，最后实现线上的部署。
项目的分以下步骤进行描述：

• 1-问答QA系统简单介绍
  - 1.1-问答系统目标
  - 1.2-问答系统分类
  - 1.3-问答系统框架
• 2-知识库问答KB-QA介绍

1-问答QA系统简单介绍

-1.1-问答系统目标

总目标：给定一个自然语言的问题，能够得到简短、精确的答案。或是⼀个能回答任意⾃然语⾔形式问题的⾃动机。

-1.2-问答系统分类

-1.3-问答系统框架

⼀个较完整的问答系统流程主要有以下三步：

• 1-问题分析模块
  总的⽬标：如何去分析问题
  问题分析模块主要负责对⽤户的提问进⾏处理，⽐如，“华⼭在哪⾥？”问题分析模块通过对这个问题的
  分析，就可以知道⽤户是在问华⼭的地理位置。问题的分析⼀般包括：
  ⽣成查询关键词（提问关键词，扩展关键词，…）
  确定提问答案类型（PER, LOC, ORG, TIM, NUM, …）
  确定提问的句法、命名实体、语义表示等等。
• 2-问题回答模块（信息检索）
  总的⽬标：如何根据问题的分析结果去缩⼩答案可能存在的范围。这个过程包含
  2.1.信息抽取
  ⽅法描述：从问句中提取关键词语，⽤信息检索的⽅法找出包含候选答案的段落或句⼦，然后基于问答
  类型⽤信息抽取的⽅法从备选答案集中提取出最佳答案。
  检索过程：段落或者句⼦级排序，利⽤不同类型关键词的加权组合
  答案抽取过程：根据问答类型从排序后的段落或句⼦中抽取答案
  2.2.模式匹配
  基本思想：对于某些提问类型（某⼈的出⽣⽇期、原名、别称等），问句和包含答案的句⼦之间存在⼀
  定的答案模式，该⽅法在信息检索的基础上根据这种模式找出答案。因此如何⾃动获取某些类型提问的
  尽可能多的答案模式是其中的关键技术。
  举个例⼦：
  问题⽂本：1968年的今天，加州斯坦福研究所的道格·恩格勒巴特发明了世界上第⼀只⿏标。最初恩格
  勒巴特给⿏标 起的名字叫“显示位置纵横显示器”最初的⿏标不过是⼀个⽊盒拖着⼀根绳⼦。但⼀个“⿏
  标”（Mouse）的⼩名却⻛靡天下。就是这⽆名⿏辈，竟让世界发⽣了天翻地覆的变化。……
  如下给出了⼀个发明家（INVENTOR）型问题的的答案模式及其答案匹配过程：
  问题：⿏标是谁发明的？
  先由问题解析问题类型< Question Type>和问题词< Q_tag>，这个⽅法略过。
  问题类型< Question Type>：发明家（INVENTOR）
  问题词< Q_tag>：⿏标
  我们要求的是答案< A>，然后根据候选句的评分，进⾏排序，返回前n句中匹配到的答案项。
  1.0 < A> 发明 < Q_tag>
  1.0 < Q_tag> 被 < A> 发明
  0.83 < A> 的 发明 < Q_tag>
  0.79 < A> < Q_tag> 的 发明者
  0.50 < A> （< Q_tag>）
  ……
  匹配到的模式：1.0 < A> 发明 < Q_tag>
  匹配到的答案：道格·恩格勒巴特（如上⽂本⿊体加粗⽂字）
  2.3.问答
  给定⾃然语⾔问题，通过对问题进⾏语义理解和解析，利⽤知识库进⾏查询、推理得出答案。 其特点
  是，回答的答案是知识库中的实体。 KBQA问答是我们本项⽬的重点，具体的下个章节论述。
• 3-答案⽣成模块
  总的⽬标：如何从可能存在答案的信息块中抽取答案。
  ⼀般搜索引擎返回的是⼀堆⽹⻚，⽽问答系统需要返回的是简短的答案。这样，通过信息检索模块
  搜索出来的相关⽂档就要提交给答案抽取模块来提炼答案。答案可以是⼀句话，或者是⼏句话，也
  可以是⼏个词或者短语。对于那些问时间地点的问题，就可以⽤很短的语句来回答，⽽对于询问原
  因、事件的问题就需要较⻓的语句才能回答。⽐如对于问题“9.11事件的是怎么回事？”就不可能⽤
  ⼀句话就能回答的。所以答案的抽取还需要依据问题的类型。
  最后是⽤户⾏为反馈，就是怎么样根据⽤户的结果去指导我们去做更好对话模型的理解。

2-知识库问答KB-QA介绍

参考：揭开知识库问答KB-QA的面纱1·简介篇 这篇博客介绍的很详细。内容速览：

• 什么是知识库（knowledge base, KB）
• 什么是知识库问答（knowledge base question answering, KB-QA）
• 知识库问答的主流方法
• 知识库问答的数据集

参考：揭开知识库问答KB-QA的面纱2·语义解析篇 内容速览：

• 什么是语义解析（Semantic Parsing）
• 什么是逻辑形式（Logic Form）
• 语义解析KB-QA的方法框架
• 实验结果

参考：揭开知识库问答KB-QA的面纱3·信息抽取篇 内容速览：

• 你是如何通过知识库回答问题的
• 如何确定候选答案
• 如何对问题进行信息抽取
• 如何筛选候选答案
• 论文实验与总结

参考：揭开知识库问答KB-QA的面纱4·向量建模篇 内容速览：

• 向量建模的核心思想
• 如何用分布式表达表示答案和问题
• 如何训练分布式表达
• 论文实验与总结

下半部分我们来介绍关于项目的部分。