（含源码）问答对生成（QAG）| 你竟还在手工梳理问答对！？

来源: AINLPer 微信公众号（每日更新…）
编辑: ShuYini
校稿: ShuYini
时间: 2020-06-11

引言

    AI时代，不同的行业都有自己的智能客服，比如银行智能客服、导购智能客服、后期服务支持智能客服等。这些客服机器人基本都是利用高质量、大量业务场景问答对（QA）作为语料进行训练得到的，但是梳理这些问答对将会耗费大量人力成本。能否做到QA问答对的自动生成呢？答案是肯定的。

Paper Information

    TILE: Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs
    Author: Dong Bok Lee • Seanie Lee • Woo Tae Jeong • Donghwan Kim • Sung Ju Hwang
    Paper: https://arxiv.org/pdf/2005.13837v3.pdf
    Code: https://github.com/seanie12/Info-HCVAE

更多自然语言处理相关知识，还请关注 AINLPer公众号

论文简述

    提取问答(QA)是自然语言理解中最基本和最重要的任务之一。最先进的QA模型已经在几个基准数据集上实现了人类水平的性能。然而，最近数据驱动模型成功的关键是大规模QA数据集。为了将最先进的QA模型部署到真实的应用程序中，我们需要构建高质量的数据集和大量的QA对来训练它们;然而，这需要大量的人力和时间，这样的代价非常昂贵。解决此问题的另一种方法是依据问题上下文或大量非结构化文本(如Wikipedia)自动生成的QA问答对。为此基于此背景，本文提出了一种层级条件变分自编码器（HCVAE），用于生成以非结构化文本为上下文的QA问答对，同时最大化生成的QA对之间的互信息，以确保它们的一致性。

本文看点

    1、提出了一种新的分层变分框架，用于从单个上下文中生成不同的QA对，这是用于QA对生成的第一个概率生成模型。
    2、提出了一种InfoMax正则化器，它通过最大化它们的互信息来有效地增强生成QA对之间的一致性，是保证QA对一致性的一种新方法。
    3、通过完全使用生成的QA对（基于QA的评估或者使用Ground Truth生成的QA对（半监督QA））训练新模型，并在几个基准数据集上评估我们的框架。本文模型在这两项任务上都取得了不错的成绩，这大大优于现有的QAG基线。

为什么要做QAG？

    问题生成（QG）或问答对生成（QAG）是克服数据稀缺的一种方法。最近的一些研究采用半监督学习方法，利用大量的无标签文本（如维基百科）在QG系统的帮助下生成合成的QA对，但是现有的QG系统忽略了一个重要的问题，即从非结构化文本组成的上下文生成QA对，本质上是一对多的问题。而序列到序列模型生成的通用序列没有太多变化，因为它们大多都是用最大似然估计训练的。这对于QAG来说是非常次优的，因为给模型的上下文通常包含更丰富的信息，我们可以利用这些信息生成更多的QA对。

本文QA对生成方法介绍

为了解决上述原有QA对生成的问题，本文提出了一种用于QA对生成的概率深生成模型。具体地说，本文模型是一个层次化条件变分自动编码器(HCVAE)，它有两个独立的问题和回答潜空间，其中回答潜空间附加于问题潜空间。在生成过程中，这种层次化的条件VAE首先生成给定上下文的答案，然后通过从两个潜在空间取样，生成给定答案和上下文的问题。这种概率方法允许模型每次都关注上下文的不同部分生成不同的QA对。

QA一致性

     QAG任务的另一个关键挑战是确保问题与其对应的答案之间的一致性，因为它们在语义上应该相互依赖，这样问题就可以根据给定的答案和上下文进行回答。在本文中，我们通过最大化生成的QA对之间的相互信息来解决这个一致性问题。我们验证发现互信息最大化可显著提高了QA对的一致性。将层次化的CVAE和InfoMax正则化器结合起来，提出了一种新的概率生成QAG模型，该模型被称为信息最大化的层次化条件变量自动编码器（Info HCVAE）。我们的信息HCVAE即使在非常短的上下文中也会生成不同且一致的QA对。
     一致性解决方法。我们通过最大化生成的QA对的互信息（MI）来解决这个问题，假设可回答的QA对具有高MI。由于MI的精确计算是比较发杂的，我们使用神经近似。虽然存在许多不同的近似值但我们使用基于Jensen-Shannon散度提出的估计值：

QAG质量评估

     生成QA对之后，但是，我们应该如何定量地测量生成的QA对的质量呢？文本生成的常用评价指标BLEU、ROUGE、METEOR仅能说明生成的QA对与GroundTruth（GT）QA对的相似程度，而与衡量它们的实际质量没有直接关系。因此，我们使用Zhang和Bansal（2019）提出的基于QA的评估（QAE）度量标准，该指标衡量生成的QA对与GTQA对的分布匹配程度。然而，在半监督学习中我们已经有了GT标签，我们需要不同于GTQA(Ground Truth QA)的新的QA对，额外的QA对才是真正有效。因此提出了一种新的度量指标–反向QAE(R-QAE)，如果生成的QA是多样的，那么该度量指标会变低。

验证数据集。

     我们通过SQuAD v1.1、Natural Questions和TriviaQA数据集验证我们的QAG模型，QAE和R-QAE都使用了基于BERT的QA模型。使用较少的上下文，我们的QAG模型获得到较高QAE，这大大优于最先进的基线模型。     互信息评估结果     在SQuAD数据集的半监督QA测试结果。

Attention

更多自然语言处理相关知识，还请关注 AINLPer公众号，极品干货即刻送达。