How Teachers Can Use Large Language Models and Bloom’s Taxonomy to Create Educational Quizzes

题目

教师如何使用大型语言模型和布鲁姆分类法来创建教育测验

论文地址：https://ojs.aaai.org/index.php/AAAI/article/view/30353

摘要

    问题生成 (QG) 是一种自然语言处理任务，在教育领域具有大量潜在优势和用例。为了发挥这一潜力，QG 系统的设计和验证必须考虑到教学需求。然而，很少有研究评估或设计过基于真实教师或学生输入的 QG 方法。本文应用了一种基于大型语言模型的 QG 方法，其中问题是根据布鲁姆分类法得出的学习目标生成的。自动生成的问题用于多个实验，旨在评估教师在实践中如何使用它们。结果表明，教师更喜欢用自动生成的问题来编写测验，而且与手写版本相比，这种测验的质量没有任何损失。此外，一些指标表明，自动生成的问题甚至可以提高所创建测验的质量，显示出在课堂环境中大规模使用 QG 的前景。

    问题生成 (QG) 是一项流行的自然语言处理 (NLP) 任务。其目标是生成有用且流畅的自然语言问题。许多方法还尝试生成相应的答案，或使用答案生成问题 。由于最近在 NLP 中取得的成功，最近的 QG 研究主要使用基于 Transformer 的大型语言模型 (LLM) 。QG 的一个明显用例是教育应用。例如，强大的 QG 系统可以减少教师创建教育内容（如家庭作业、测验、考试、课堂学习活动等）的时间。或者，它可以作为学生的练习工具。教育问题生成 (EQG) 的潜在用途范围非常广泛，尤其是考虑到 LLM 最近的成功。不幸的是，此类系统在现实世界中的部署记录很少。这种缺乏采用的潜在原因可能是包括旧方法性能不佳、系统僵化以及用户不信任。Wang 等人进行了一项需求调查研究，旨在探索为什么 QG 系统没有在课堂上使用。他们的一个关键发现是，QG 系统必须满足使用它们的教育者的需求才能有效并被采用。为了实现这一点，在开发教育 QG 系统的研究必须考虑到最终用户的意见。鉴于 LLM 在其他任务中的成功，我们的假设是，它们可以从给定的上下文中生成不同类型的问题，教师认为这些问题对于创建质量可与手写版本媲美的测验很有用。

    进一步我们预测，当生成的候选项与布鲁姆分类法的级别相对应时，教师会发现它们更有用。图 1 描绘了我们用于生成与布鲁姆分类法相对应的教育问题的少样本提示策略（有关此方法的更多详细信息，请参见第 3 节）。为了评估我们的预测，我们进行了测验编写实验，旨在比较和对比三种不同的测验类型。测验和测验编写方法的“有用性”的多个方面被考虑，包括生成的测验的质量、效率（相对于时间）和教师的偏好。我们的结果表明，这三种类型的测验质量相似。一些指标甚至表明，使用自动生成的问题时质量有所提高。我们还发现，教师强烈倾向于使用与布鲁姆分类法相对应的自动生成问题来编写测验。这些结果证明了 EQG 在现实世界课堂中的巨大潜力，以及在设计 EQG 方法时考虑教师需求的重要性。

背景

    EQG 和更广泛意义上的 QG 的最新研究围绕着基于 Transformer 的 LLM 的使用展开。这些 LLM 是在大量数据上训练的深度学习模型，以提高其生成性能。在 QG 研究中应用这种方法的原因很大程度上是由于它与早期的基于规则和其他类型的系统相比具有显着的性能改进。基于 Transformer 的 LLM 的典型训练目标是下一个标记预测，这意味着它们学习预测初始输入文本的可能完成。最近的模型也开始在其训练过程中包括强化学习。GPT-3.5 就是这种情况，它是本文报告的实验中使用的 LLM。通过从人类反馈中进行强化学习进行微调，GPT-3.5 的表现优于 GPT 家族中的前辈。

    与下一个标记预测的常见 LLM 训练目标一致，QG 的新兴范式是将文本输入（称为提示）提供给 LLM，以供模型完成。设计此提示以生成所需的输出可能是一项艰巨的任务，这导致了一个名为提示工程的新研究方向。提示工程最常见的方法之一是将字符串添加到提供给 LLM 以进行生成的上下文中，这称为前缀样式提示。例如，假设一位机器学习老师希望生成有关梯度下降的问题。他们可以采用的一个简单策略是使用输入提示 LLM：生成有关梯度下降的问题。为了增加生成的问题的特异性，老师可以提供更多上下文。例如，他们可能会用教科书上关于梯度下降特定方面的段落来编写提示，例如：从以下段落生成问题：<…> 为了进一步控制生成，教师的输入可以包含一个控制元素——一个将指导生成的关键字（Mulla 和 Gharpu