40、利用预训练语言模型实现可扩展的教育问题生成

利用预训练语言模型实现可扩展的教育问题生成

1. 引言

在当今数字化学习时代，大规模开放在线课程（MOOC）和开放教育资源（OER）等数字学习资源丰富多样。然而，这些资源在被学习者使用后，往往缺乏用于自我测试和技能验证的相关问题。自动生成教育问题对于推动在线教育的规模化发展至关重要，它能让全球学习者在个性化学习过程中实现大规模的自我评估。本文聚焦于如何通过改编大型语言模型来实现教育问题的自动生成，并通过实验验证了相关方法的有效性。

2. 相关工作

2.1 自动问题生成（QG）

自动问题生成旨在根据给定的句子和期望的回答创建有效且连贯的问题。过去的方法主要分为基于规则和基于神经网络的模型，其中神经网络模型在各种应用中占据主导地位。随着深度学习的发展，序列到序列模型被广泛应用。通过利用问答数据集，神经网络模型可以结合上下文和预期回答生成高质量的问题。但这种方法通常依赖额外的系统来识别相关回答，限制了其在现实世界中的应用。此外，公共数据集的稀缺也阻碍了能同时生成问题和答案的QG系统的发展。另一种方法是训练QG模型仅依赖上下文，从而为文档、段落或句子创建特定类型的问题，本文主要采用这种方式。

2.2 用于教育QG的预训练语言模型（PLMs）

在教育领域的神经问题生成中，最先进的系统利用了如GPT - 3和Google T5等预训练语言模型。这些模型在大规模文本语料库上进行预训练，能够实现零样本问题生成。例如，Leaf系统通过微调预训练的T5模型，使用SQuAD 1.1数据集训练其问题生成组件。本文与现有先进方法的不同之处在于，采用预训练的方式进一步增强PLM对科学语言的处理能力，这一技术在医学等特定领域已显示出潜力。