自然语言复杂问题向结构化语句的转化方法概述
研究背景
从人工智能研究的初期开始,人们就致力于开发高度智能化的人机对话系统。随着互联网的飞速发展,网络中心海量信息每天都在不断更新,因此,问答系统依据人们对所需信息的准确获取需求,其技术也需要不断提高。
而我们目前对问答系统的研究,目标就是将用户复杂的自然语言问题转化为结构化的SQL语句,以进行对问题答案的精准检索。
问答系统的历史发展
人们与机器的交流通常分为三类,聊天型,任务导向型和问答型,而问答系统是我们生活中最为常用的,问答型对话多指一问一答,用户提出一个问题,系统通过对问题进行解析和知识库查找以返回正确答案[Berant J, Chou A, Frostig R, et al. Semantic parsing on freebase from question-answer pairs]。
- 现如今面对用户复杂的问题如 Google、Baidu、Bing 等。这些搜索引擎根据一定的算法,运用特定策略从互联网中检索出相关信息反馈给用户。目前,搜索引擎存在两个明显的弊端:(1)需求表达方式单一。用户在利用搜索引擎时需要输入关键词(或段落)。然而,仅依赖若干关键词的逻辑组合,往往无法表达复杂而特殊的检索需求。(2)反馈结果不够清晰。搜索引擎反馈的结果往往是一个网页列表,用户仍要进行大量的人工排查和筛选,才可能找到自己需要的答案。这远远不能满足人们迅速获取所需信息并加以利用的需求。
现如今问答系统的研究方法
1. 基于模板的知识库问答方法
- 基于模板的知识库问答方法旨在利用预定义的模板匹配问题进而得到形式化查询。通常由离线和在线两个过程组成。离线时,主要根据问答历史建立模板库。具体地,归纳总结以往回答过的问题,构造出问题模板与对应的查询模板。在线时,对于一个新输入的问题,首先将其匹配到模板库中的问题模板,进而得到问题模板对应的查询模板。随后,实例化查询模板,即从问题出提取出相应的语义内容,填充模板得到真正的查询。
- 在模板方法的早期研究 [Unger C, Cimiano P. Pythia: Compositional meaning construction for ontology-based question answering on the semantic web] [Yahya M, Berberich K, Elbassuoni S, et al. Natural language questions for the web of data] [Yahya M, Berberich K, Elbassuoni S, et al. Robust question answering over the web of linked data]