面向具体任务检索式问答-端对端开放领域问答系统

1，基于检索的问答系统-面向具体任务检索式问答：可以被化归为一种复杂的信息检索系统,可以自动将用户的自然语言问句转化为查询请求并从一系列候选文档。检索式问答系统的核心性能与其依赖的IR系统紧密相关。而IR系统的性能取决于其文档索引与查询请求的设计,由于自然语言天生具有句式复杂、表达多样的特性,大部分问答系统的IR模块都会采用问句重写[8](Query Expansion)与语义模板[9](Semantic Template)的方法来化简自然语言问句与提高召回率。这两种方法多采用语言学家手工构造规则模板,选用特征包括同义词、反义词、上下位词、频次信息、标点、关键词、代词、位置(比如句首与句尾)、前后词性标注(POSTag)作为问句的特[1()],然后利用各类传统的机器学习分类算法如K最近邻算法、支持向量机[121(SVM)算法重写问句与模板匹配。这些方法大多依赖于词典、语义模板,倘若这些先验知识足够准确与丰富,其准确率与召回率还是相当高的,然而,这类方法的局限性很大,且难以扩展维护,随着问句种类的增多,需要花大量时间大幅度修改模板、维护词典,在工业中应用困难。另外,此类方法或多或少忽略了问句的上下文语境与语义信息,准确率较低。特点：基于检索的问答系统从一系列可能的回答中选出一个与问句最相关的答句,因此从本质上来说其并没有生成任何新的句子,因此我们无需担心答句中引入的语法错误。

2，端到端问答系统-开放领域问答系统：与基于检索的问答系统不同,端到端问答系统较为智能,其基于用户的问句中的每一个词依次生成答句,因此在答句中可能会有语法错误。另外,此种模型的训练较为复杂,这是因为在训练中需要学习各类复杂的句子结构。但是,一旦完成了训练,端到端问答系统在未登入(non-seen)的用户问句情境下能大幅超过大多数基于检索的问答系统,而且给用户以一种与真人交流的感受。端到端模型最先在机器翻译方向得到应用,从此一发不可收拾,成为了机器翻译方向的首选方法,后续文章大部分基于此类模型进行优化与改造。由于问答系统的训练输入为问句-答句对,与机器翻译系统的平行语料训练输入格式极为相似,因此近年来在问答系统中也大量采用了端到端方法改进系统。其模型结构较为简单,主要有两个循环神经网络(RNN)构成,两个RNN中的一个作为编码器将用户经过分词的输入句子按照输入顺序逐词编码成一个由隐藏层输出定长的向量,这样一个定长的隐藏层向量可以充当输入句子的语义特征向量,其嵌入了句子中各类重要的语义信息,因此可以很有效的表征一个句子的语义。我们可以将编码的过程沿着时间轴进行可视化,每一轮前一个词的编码结果将会作为下一轮后一个词的编码过程的输入的一部分,因此最终得到的隐藏层向量包含了整句句子的语义信息,而在解码过程中,另一个RNN作为解码器,根据输入一个个词输出解码的结果,将这些词按序拼接后得到的就是对于用户问句的答句。在这个过程中,每一个RNN单元的输入是上一轮解码的隐藏层向量与前N轮解码出的单词。因此,在解码过程中的每一轮输出的结果都受到了上下文(也就是编码结果)以及之前N轮生成的单词的影响,因此此类系统输出的答句既能准确回答用户的问题,又具有较好的语法结构、语序合理,而且答句句式较为新颖。

1,2相比较：相比之下,对于基于检索的方法,其所有回答大多来自于现存的知识图谱或数据库,因此很少会出现语法错误,但是这种方法无法对没有事先定义的输入问句进行有效回答。同样这些模型无法考虑在很早之前的会话中出现的实体信息。而端到端方法可以回溯到前文讨论的实体,给人感觉像是在和人问答,然而端到端模型难以训练,并且容易使用语法错误的答句进行回复。另外,由于大部分模型都采用了RNN,因此这类模型也继承了RNN的缺点,如问句长度受限,答案主观性太强、忽略了问句中的同义词、多义词等。