智能问答系统一些思考——四类方法

智能问答系统是现代信息技术系统不可或缺的一个部分，然因问答系统的复杂性，智能问答系统一直未能取得很好的作用。本文将尝试从问答系统的四个方向做概要性总结。问答系统目前实现的方式主要包括：

1）知识图谱问答：基于语义的方法、基于答案排序的方法

2）表格问答：表格检索、答案生成

3）文本问答：答案句子选择、答案生成

4）社区问答：问题匹配、问题改写、问题自动生成

基于语义的知识图谱问答

思路是，A.通过对问题的转化为机器能理解之行的语义表示，B.使用该语义表示作为结构化查询语句查询知识图谱，将查询得到的实体结合作为答案返回。

语义表示：

A.一阶谓语逻辑：一阶谓词逻辑只允许限量词（正则表示）应用在对象，高阶谓词逻辑允许将限量词用在谓词和函数

B.lambda-算子：陈述句的语义可以采用一阶谓词逻辑表示，问句的语义则常采用lambda-算子形式

C.lambda-DCS：一阶谓语逻辑和lambda-算子为考虑知识图谱特性，lambda-DCS考虑知识图谱特性（忽略了全部未知变量）

基于语义分析的方法：
1、基于文法的语义分析方法

A.从带有语义表示的标注数据中抽取符合特定文法的语义分析规则集合。每条规则至少包含自然语言和语义表示两部分

B.采用基于动态规划的解析算法（CYK、Shift-Reduce）产生句子对应语义表示候选集

C.基于标注数据训练排序模型，对不同语义表示候选进行打分，返回得分最高语义表示候选作为结果

基于神经网络的语义分析方法：

采用类似机器翻译的，序列到序列的生成模型（从自然语言到语义表示转化）

基于答案排序的方法

给定输入问题Q和知识图谱KB，通过对KB中实体进行打分和排序，选择得分最高的实体或实体集合作为答案输出。

A.问题实体识别，对问题Q中提到的实体识别

B.答案候选检索，根据识别出的问题实体，从知识图谱中查找与之满足特点约束条件的知识库实体集合，作为候选答案

C.答案候选表示，每个答案无法直接与问题比较，基于答案候选所在知识图谱上下文生成对应向量表示，问题和答案相关度计算转为问题向量和候选向量计算。

D.答案候选排序，使用排序模型对不同答案候选打分排序，返回得分最高的答案候选集作为输出结果

基于特征的答案排序——答案实体识别后，根据问题实体在知识图谱中位置，抽取与之通过不超过两个谓词连接的实体作为答案候选集合，然后使用一个特征向量表示每个候选答案（疑问词特征、问题实体特征、问题类型、问题动词、上下文、谓词特征）

基于问题生成的大啊排序——问题实体识别和答案候选检索后，采用文本生成技术为每一个答案生成一个自然语言问题，作为该答案候选对应的表示，计算输入问题和每个答案候选对应生成问题相似度，对答案打分排序。

基于子图匹配的答案排序——每个答案候选从知识库中抽取一个子图，通过计算输入问题和每个答案候选对应子图之间的相似度，对答案候选集合进行打分和排序。

表格问答

表格检索：

A.表格全集的数目相对有限，可以将每个表格的结构打散并将内容顺序连接构成一个“文档”，然后基于现有文本检索技术找到与输入问题Q最相关的表格子集T。

B.表格全集很大，需要借助现有搜索引擎找到与问题最相关的结构网页集合，抽取该结果网页集合中包含的全部表格作为表格子集

答案生成：

A.基于答案排序的方法，通过对不同表格单元进行打分和排序，选择得分最高表格单元集合作为答案

B.基于语义分析方法，基于表格T生成问题Q对应的语义表示，然后以该语义表示作为结构话查询语句，通过在T上执行得到Q对应答案

C.基于神经网络，训练端到端的神经网络模型，直接生成问题对应的答案

文本问答

问题处理模块：对输入的自然语言问题进行基本自然语言处理操作（分词、命名实体识别、词性标注依存树分析）并输出一系列特定问题语义标签（问题类型、问题关键词、答案类型等）。问题类型——事实类、是非类、定义类、列表类、比较类、意见类、指导类；问题关键词涉及问题实体和对答案限制条件；答案类型——人物、时间、地点等。

文本检索模块：从海量文本集合中检索出与输入问题最相关的文本候选

答案生成模块：从检索回来的文本候选中抽取或生成答案，给定问题Q和答案D，从D中找到对应的答案A。答案A可以是D中的句子，也可以是D中的单词或短语，还可以是基于D推理出的内容。可以分为答案句子选择和阅读理解，答案句子选择是从候选文本D中选取其中一个句子S作为答案，阅读理解，从文本中选择特定问题片段作为问题答案。

社区问答

问题-问题匹配：计算输入问题Q与D中某个已有问题Q之间的语义相似度。

问题-答案匹配：计算输入问题Q和D中某个历史答案A之间的问答相关度。

问题改写：输入问题生成语义相同但表述方式不同的复述形式。