Squad任务
Squad任务是给出一段文章,以及问题,然后在这段文章中寻找答案,就是我们熟悉的阅读理解。 但大部分时候我们更期望提出这篇文章能回答的问题,在一定程度上问题比答案更重要。 比如,协助教师出题,协助证券分析师快速找到研报、新闻简讯中的核心事件。 因此,我们讨论如何基于SQuAD任务,训练问题生成模型。问题生成模型
Unilm是微软出的一个统一NLU和NLG的语言模型,能够实现SQuAD的问题生成。 模型实现细节见unilm-v1的qg实验In addition, we demonstrate the effectiveness of UNILM on five NLG datasets, where it is used as a sequence-to-sequence model, creating new state-of-the-art results on CNN/DailyMail and Gigaword abstractive summarization, SQuAD question generation, CoQA generative question answering, and DSTC7 dialog response generation.
中文版本Unilm
Unilm是中文版本的unilm预训练模型。项目输入微博或新闻文本内容,自动生成新闻标题。 如果将这个任务的目标从标题改为问题,理论上就现实了新闻问题的自动生成。