Simulating Classroom Education with LLM-Empowered Agents

题目

使用 LLM 授权的代理模拟课堂教育

论文地址： https://arxiv.org/abs/2406.19226

摘要

    大型语言模型 (LLM) 已用于各种智能教育任务以辅助教学。虽然初步探索集中在针对特定教育任务的独立 LLM 赋能代理上，但多代理协作框架内的 LLM 模拟具有真实用户参与的课堂的潜力仍未得到探索。在这项工作中，我们提出了 SimClass，一个涉及用户参与的多代理课堂模拟框架。我们识别代表性班级角色并引入一种用于自动课堂教学的新型班级控制机制，并在两个真实课程中进行用户实验。利用教育分析中的弗兰德斯互动分析系统和探究社区理论框架，我们证明 LLM 可以有效模拟传统的课堂互动模式，同时增强用户体验。我们还观察到 SimClass 中代理之间出现的群体行为，代理协作以在课堂中创造活跃的互动，以改善用户的学习过程。我们希望这项工作能够开创 LLM 赋能的多代理系统在虚拟课堂教学中的应用。

引言

    利用人工智能为学生提供即时、定制化教学的追求源自智能辅导系统（ITS）时代（Nwana，1990）。在这股热潮中，从个性化教育推荐系统（Liu et al，2019）到教学助理（Tu et al，2023；Khan Academy，2024），甚至由法学硕士驱动的AI老师（Markel et al，2023；Yue et al，2024），研究者进行了大量的技术探索，并在具体的教育任务中取得了令人瞩目的成绩。随着技术的进步，围绕这一主题的方法论也出现了激烈的讨论（Extance，2023；Yue et al，2024）。

    其中一个最核心的方向是如何充分利用大模型的能力，通过多个代理模拟真实课堂，实现自动化教学。从教育角度看，这种方法使大模型超越了工具性用途，更深入地研究教育范式（Lave，1996；Opara 等，2023）。从技术角度来看，多智能体协作技术（Qian 等，2024）可以进一步激发大模型在教育领域的潜在知识，从而产生更丰富的能力（Li 等，2024a；Aher 等，2023）。然而，对于由 LLM 赋能的、涉及真实用户参与的多智能体系统，仍有几个基本研究问题需要探索。

1. 模拟能力评估：由大模型驱动的多智能体课堂能在多大程度上模拟真实的师生互动？
2. 学习体验测量：在这种智能教学环境中，学生能否体验到高度的临场感并有效地学习？
3. 涌现现象观察：在融合多智能体的场景中，哪些类型的课堂行为可能自发出现？

    在本研究中，针对上述问题，我们提出了多智能体课堂模拟框架 SimClass，并在此基础上进行现实世界的观察和分析。为了更好地模拟课堂，我们识别了具有代表性的课堂角色，并设计了一种具有功能性工作流的新型课堂控制机制。对于系统实验，我们部署了 2 门不同的课程，并以准备好的幻灯片和教学脚本为基础。

    邀请 48 名学生加入课堂，学习并与系统互动，并仔细记录所有行为数据。然后我们进行实验来探索提到的问题。

1. 首先，我们应用Flanders交互分析系统（Amatari，2015）来评估SimClass中发生的交互，并探索代理课堂的交互模式
2. 其次，我们分析这些用户的教育体验，特别是使用探究社区理论（Garrison和Arbaugh，2007）。
3. 最后，我们总结了实验过程中出现的几个群体行动，进行定性分析。

    在实验过程中，我们观察了课堂角色和控制机制设计的有效性。基于我们发现的问题，实验结果表明：

1. 相似性：SimClass表现出与传统课堂相似的行为、交互模式和特征；
2. 有效性：多个课堂代理使用户能够更有效地参与课堂并增强他们的存在感；
3. 涌现性：我们的控制机制自发地引发了多代理课堂系统中的涌现行为，包括协作教学和讨论、情感陪伴和纪律控制。

    综上所述，基于LLM的多智能体系统展示了为教育目的模拟真实课堂环境的潜力。我们希望我们的工作能成为这个方向的开创性努力。用户与多个LLM之间的课堂互动数据集将很快发布，供教育和AI研究人员使用。

相关工作

    用于人体模拟的LLM 最近，大型语言模型（LLM）在各种自然语言处理（NLP）任务中取得了显着突破（Brown等人，2020年；OpenAI，2024年；Touvron等人，2023年；Team，2024年）。它们所展示的智能为许多其他场景的应用开辟了机会和可能性（Bubeck等人，2023年；Yang等人，2023年）。由于 LLM 在训练数据中编码了许多类似人类的行为，越来越多的研究人员正在利用 LLM 进行人类场景模拟，研究该模型作为 LLM 赋能代理在许多领域进行决策和行动的能力，例如社会和心理学研究（Aher et al, 2023; Park et al, 2023; Li et al, 2024a; Gao et al, 2023; Li et al, 2024d; Zhang et al, 2024）、软件开发（Qian et al, 2024; Hong et al, 2023）、化学和医学（Li et al, 2024c; M. Bran et al, 2024）和游戏（Wang et al, 2023）。探索新颖的协作技术以增强多智能体系统的协作和性能（Cheng et al, 2024; Wu et al, 2023）。这些工作为多智能体教育提供了技术可能性，激发了人们对潜在新兴现象的好奇心。

    用于教育的 LLM，凭借其卓越的语言能力、解释能力和参数化知识，许多研究已经探索将 LLM 应用于教育服务。除了将大型模型应用于教育中的下游任务（Hu et al, 2024; Li et al, 2024b; Jeon and Lee, 2023）之外，许多研究人员正在应用这些模型来取代某些课堂方面，例如扮演学生来培训教师（Lee et al, 2023; Markel et al, 2023）或扮演教员来教学生（Lee