创新实训个人工作日志（一）

在确认项目目标与内容之后，我阅读了问题生成方向的19年发表的综述文章，该文章从NQG的学习范式、输入形式、评价指标等多个方面全方位的介绍了问题生成方向的研究进展和发展前景，让我对项目的技术路线有了思路并增加了完成项目内容的信心。在精读过该文献后，我和小组成员共同谈论，完善了项目申请表中的内容。
文献链接：Recent Advances in Neural Question Generation
思维导图链接：思维导图-已上传CSDN

下为文章内容框架的概述，若有不当之处，欢迎批评指正！

1. introduction

Question Answer与Question Generation是一对互补问题，都要求对输入资源的深入理解并且有能力推理出答案的相关上下文。问题生成是自然语言生成的一个方面，要求能够生成语法语义正确的问题。
QG问题具有很重要的现实意义。在教育领域，以长篇段落信息为背景生成相关问题能够帮助考察学生的阅读理解能力并提高学生的自主学习能力，同时还能辅助教师教学，减轻教学压力。在问答系统领域，在网上与大量基于事实的文章、新闻、电子文学作品等，但缺少与之匹配的问题，因而不能应用于检索式问答系统中，问题生成能够生成大规模的数据集，减少人工标注的成本。此外，问题生成还可以作为聊天机器人的组件，以询问问题开启对话或者请求用户反馈，增强人机交互的友好性和持久性。
传统的问题生成主要关注于从一句话或者一个段落中生成事实性问题，随着深度学习的发展，越来越多的开始使用端到端的神经模型来生成更深层次的问题，并且追求更广泛的应用场景。

2. NQG的基本方面

2.1 学习范式

传统基于规则的问题生成研究将QG任务分为“What to ask”和“How to ask”两个部分，即内容选择和问题构造两个方面。给定句子或者段落作为输入，通过内容选择过程选出与主题相关且有价值的部分获得中间象征表示，并确定问题的类型；问题构建过程基于预先定义的模板将中间表示转换为使用自然语言表达的问题。但这种方法存在很大的局限性，严重依赖人工构建的特征集，生成的问题常常与输入文本中的标记逐字重叠，问题质量不高。
相比之下，基于深度学习的端到端结构更加灵活。深度学习方法将“What”和“How”两个阶段融入统一的框架中，从而减少了人为设计特征的不完备性。因此本项目将使用深度学习技术来完成问题生成任务。

2.2 输入形式

传统的QG主要关注于陈述句的文本输入，目前随着QA应用的发展，NQG研究资源更加广泛，还可以输入知识库或图片。

2.3 认知水平

Bloom’s taxonomy将认知分为六个方面：

• Remembering
• Understanding
• Applying
• Analyzing
• Evaluating
• Creating

经典QG生成事实问题（例如who、what、where），而一个QG系统要求生成更高认知层次的、更有意义的问题（例如why，what-if，how）。

3. Corpora

两个语料库相关的因素加大问题生成的难度。

3.1 认知水平

当前的NQG在浅显的事实性问题的生成上发展趋势良好，但是模型性能在使用深度问题的数据集测试时明显下降。

3.2 答案类型

通常有四种答案类型：

• 答案直接来自于文章内容——事实性问题
• 答案是人为生成的抽象答案，在原文中不能直接找到——更深层次的问题
• 多选题
• 文章中没有给出答案，这就要求模型能够自动学习什么问题值得问

4. 评价指标

大多数QG系统使用随机采样的人工评估方法：随机选择一定数量的系统生成问题，由标注者对问题进行评分，通过评分的平均值或者评分最高问题所占比例来衡量问题生成系统的性能但人工评估的方法过于耗时且成本大。因此本项目使用自动评价指标BLEU、METEOR和ROUGE，这些度量方法本质上是计算原句和所生成问题之间的n-gram的相似度，与语句的流利度、充分性和连贯性之间的相关性不佳。

5. 方法

5.1 答案编码

将答案作为附加特征未对答案进行单独处理，没有有效利用答案特征，会更倾向于生成包含答案词语的问题，以致生成无关问题。对于目标答案的编码，可使用单独的RNN结构来改善这一问题，并将两个编码器的输出联合中为译码器的输入，采用双编码器-解码器的网络结构。

5.2 疑问词的生成

疑问词的生成在QG问题中也具有很重要的意义，相关研究指出，疑问词与问题类型的不匹配是当前NQG系统中的常见问题，在模型设计中可考虑单独生成疑问词。使用两个Seq2Seq模型，前者根据给定文本学习生成疑问词模板（例如“How to #”，其中“#”为占位符），后者学习填补模板的空缺，形成完整的句子。

5.3 段落级别的上下文

结合输入文本的上下文语境能够产生更好的问题，但是随着输入文本的增长，Seq2Seq模型难以在避免无关信息的同时有效利用相关上下文信息。为了应对这一挑战，可通过融合重要信息与上下文的自我表示来完善编码上下文。由输入文本及其上下文组成的长篇文章首先通过LSTM嵌入，其中答案位置作为附加特征。

5.5 技术考虑

此外复制机制和策略梯度也能够提高模型的性能。策略梯度是将任务特定的评价指标（例如BLEU或ROUGE）添加到原始目标中，有助于生成问题多样化；复制机制为在译码时将相关单词之间从原句子复制到问题，因为事实性问题通常会引用文本中出现的短语和实体，而RNN解码器难以自行生成此类稀有单词。