教育+大模型-可解释-2024-7-15_llm归因解释-CSDN博客

本文链接：https://blog.csdn.net/WhiffeYF/article/details/140698376

教育+大模型-可解释

文章目录

教育+大模型-可解释

摘要

随着人工智能技术的飞速发展，大型语言模型（LLMs）在教育领域的应用日益广泛，展现出改善教学方法和提供个性化学习体验的巨大潜力。这些模型以其在自然语言处理方面的卓越能力，为教育带来了革命性的变革。然而，LLMs的复杂性和不透明性，特别是它们的内部机制仍然不清晰，引发了对其可解释性的广泛关注。这种缺乏透明度不仅为下游应用带来了风险，而且限制了它们的广泛应用，需要通过可解释性来确保应用安全、克服性能限制，并控制社会影响。
本文综述了面向教育的LLMs的可解释性，探讨了其在教育中应用的重要性、当前的技术水平、面临的挑战以及未来的发展方向。我们首先概述了LLMs在教育领域和应用，强调了它们在提供个性化学习支持、评估和反馈、知识覆盖等方面的影响力。然后，分析了提高其可解释性的关键技术和方法，包括局部解释、全局解释的方法。

1 引言

近年来，人工智能（AI）已经迅速渗透到教育的各个方面，改变了我们传授和接受知识的方式。在这场教育革命中，大型语言模型（LLMs）扮演了至关重要的角色。这些模型，凭借其在自然语言处理（NLP）等任务上的卓越性能，不仅优化了预训练模型，还推动了技术的持续进步。

LLMs的应用，标志着教育技术从传统的以教师为中心的教学模式，向更加个性化、互动性强的智能教育模式转变。这些模型通过深度学习和自监督学习，能够理解和生成文本，执行复杂的数学推理，甚至在多模态互动中展现出色的表现。它们不仅增强了教育中的“即时反馈”过程，还为学生提供了更加个性化和适应性的学习体验，从而有可能彻底改变教育行业。

然而，尽管LLMs在教育领域展现出巨大的潜力，它们的可解释性问题也日益凸显。这些模型的内部机制往往不透明，使得它们的决策过程难以理解。这种不透明性为教育应用带来了风险，尤其是在高风险领域如医学、教育中，模型的可解释性不足可能导致严重的后果。此外，随着LLMs在教育中的广泛应用，如何确保它们的决策过程公正、无偏见，并且能够被教育工作者和学习者所理解和信任，成为了一个迫切需要解决的问题。

为了解决这些问题，本综述论文深入探讨了面向教育的LLMs的可解释性。我们首先概述了LLMs在教育领域应用，包括它们如何辅助教学、个性化学习和评估。然后，我们分析了提高LLMs可解释性的关键技术和方法，包括局部解释和全局解释。

2 LLMs在教育领域应用

教育应用可以根据用户在教育中的角色以及在教育中的使用场景进行分类。在本节中，我们总结了LLMs在不同应用中的表现，并讨论了与传统方法相比LLMs带来的优势。我们使用分类法，对LLMs的教育应用进行了初步总结。

学习辅助

为学生提供及时的学习支持已被广泛认为是提高学生在独立学习期间的参与度和学习效率的关键因素。由于以往算法在生成固定形式回答方面的局限性，许多现有的学习辅助方法在现实世界的应用场景中面临较差的泛化挑战。幸运的是，LLMs的出现为这一领域带来了革命性的变化。利用经过微调的LLMs生成类人回答，近期基于LLM的教育支持研究已经展现出了有希望的结果。这些研究通过帮助学生解决具有挑战性的问题、纠正错误以及为困惑的领域提供解释或提示，提供了对学生的实时辅助。

问题解决（QS）

得益于LLMs大规模的参数量以及预训练阶段使用的庞大且多样化的网络语料库，LLMs已被证明是一个强大的零样本问题解决器，能够解决从数学、法律、医学、金融、编程、语言理解等广泛学科领域提出的问题。此外，为了在面对复杂问题时进一步提高LLM的问题解决性能，已有多种研究被积极提出。例如，思维链提示方法通过将复杂问题分解为更简单的顺序步骤来指导LLM解决问题。其他工作利用LLMs强大的上下文学习能力，提出了先进的少样本示例选择算法，以提高LLM解决一般问题的性能。利用外部编程工具来避免在原始LLMs的文本问题解决过程中引入的计算错误，将聊天优化的LLM视为强大的代理，并设计了一个多代理对话，通过协作过程解决这些复杂问题，外部验证器模块在生成过程中纠正中间错误，这提高了LLM解决具有挑战性的数学问题的性能。总体而言，随着所有这些新设计的提出，LLMs用于问题解决的使用已经取得了令人印象深刻的进展。此外，学生可以及时找到对他们阻塞问题的高质量答案。

错误纠正（EC）

错误纠正专注于在学生学习过程中对其错误提供即时反馈。这对初期阶段学习的学生很有帮助。探索了使用四种提示策略：零样本、零样本思维链（CoT）、少样本和少样本思维链来纠正中文和英文文本中的常见语法错误。从他们的实验中，他们发现LLMs在纠正任务上有着巨大的潜力，一些简单的拼写错误已经被当前的LLMs完美解决了。利用LLM来解决中文母语者的语法错误。通过使用混合注释数据集对开源LLMs进行微调，该数据集涉及人工注释和ChatGPT生成，所提出的框架在中文母语语法错误纠正方面表现有效。提议使用像Codex这样的代码训练的大型语言模型来构建一个自动程序修复（APR）系统——MMARP——用于初级Python编程作业。通过将MMARP评估在真实的学生程序上，并与之前最先进的Python语法修复引擎进行比较，作者发现MMARP平均能修复更多的程序，并产生更小的补丁。开发了一个少样本示例生成流程，涉及代码摘要生成和代码修改以创建少样本示例。通过生成的少样本示例，LLMs在学生程序上的bug修复性能得到了显著提升。

困惑助手（CH）

与问题解决（QS）和错误纠正（EC）不同，困惑助手方向的研究避免直接提供正确的问题解决方案。相反，这些工作的目标是使用LLMs生成教学指导或提示，帮助学生自己解决问题。基于输入条件和强化学习提出了各种引导问题生成方案，并探索了LLMs生成顺序问题以指导解决数学文字问题的能力。探索了使用LLMs以两种方式为数学问题生成解释：总结与问题相关的辅导聊天日志和从现有解释文本中学习一些示例。基于他们的实验，他们发现合成解释无法超越教师编写的解释，因为学生可能不知道某些术语，而且建议有时过于笼统。评估了ChatGPT和人类导师生成的代数提示之间的学习收益差异。通过观察受控组之间参与者的前测和后测成绩的变化，作者得出了类似的结论，即LLMs生成的提示在指导学生找到解决方案方面效果较差。评估了使用LLMs生成解释学生计算机编程作业中逻辑错误的文本的有效性。通过将合成解释与课程助教撰写的解释进行排名，作者发现合成解释与人工生成的结果具有竞争力，但在正确性和信息缺失问题上存在不足。尝试为不同群体的学生生成适应性解释。通过在教学提示中引入控制条件，如年龄组、教育水平和详细程度，所提出的方法适应了具有不同学习档案的学生生成的解释。

教学辅助

得益于LLM前所未有的逻辑推理和问题解决能力，开发基于LLM的教学辅助模型已成为近期教育研究中的另一个热门话题。借助这些辅助算法的帮助，教师们能够摆脱以往的繁琐日常工作负担，将注意力集中在如课堂指导这类现有机器学习模型无法替代的任务上。

问题生成（QG）

由于在教学实践中的频繁使用，问题生成（QG）已成为LLMs教育应用中最受欢迎的研究主题之一。利用LLMs生成阅读理解问题，首先用补充阅读材料和教科书练习段落对其进行微调，然后采用即插即用式的可控文本生成方法，引导经过微调的LLMs基于指定的主题关键词生成更加连贯的段落。分析了LLM（GPT-4）生成与高等教育中Python编程课程特定学习目标（LO）一致的多项选择题（MCQs）的能力。通过将几个生成控制模块与提示组装过程整合，所提出的框架能够生成语言清晰、有一个正确选项和高质量干扰项的MCQs。专注于使用二维矩阵结构框架对提示问题和阅读理解分类学进行对齐。使用对齐的提示，LLM问题可以以平衡的方式涵盖广泛的题型和难度级别。致力于生成多样化的数学文字问题，并实现对问题方程的隐式多样性控制，达到生成高质量多样化问题的目标。

自动评分（AG）

自动作业评分器的研究比LLMs的近期出现要早得多。然而，由于以往模型在学习能力上的限制，大多数现有的自动评分算法专注于探索标准解决方案和学生回答之间的语义比较，这忽略了手动评分过程中的逻辑考量。除此之外，所提供解决方案的质量严重影响结果，因此以往作品的应用被限制在一些有良好注释的问题上。幸运的是，随着LLMs的出现，上述挑战变得容易解决。首次探索了使用LLMs进行开放式问题和写作论文的自动评分，使用提示调整算法。通过包含全面上下文、清晰的评分标准和高质量的示例，LLMs在两项评分任务上都展示了令人满意的性能。进一步将CoT整合到评分过程中。这种方法指导LLMs在做出最终评分决定之前，先分析并解释所提供的材料。有了这样的修改，LLMs不仅会生成分数结果，还会对学生的回答提供详细评论，这有助于学生了解如何为下次改进。将评分对象从学生的文字回答扩展到包含手写回答的评分。使用先进的多模态LLM框架，例如CLIP和BLIP，这项工作展示了将学生的文本和图像以及问题的文本和图像结合起来，可以提高模型的评分性能。提出了一种跨提示的预微调方法，以学习不同评分标准和注释示例之间的共享关系，然后通过在目标评分任务上进一步微调预微调的LLMs，在标记样本的限制下，模型可以实现相当的表现。

教学材料创作（CMC）

与现有的教育应用不同，教学材料创作（CMC）是一种新的教育任务，旨在探索LLMs通过生成涵盖目标课程所有学习目标的综合教学材料以辅助课堂教学的潜力。利用LLMs生成程序设计相关课程的教学材料。通过探索GPT-3生成多种类型材料的性能（如代码示例、阅读理解问题、编程练习），作者的研究展示了LLMs在计算机科学教学中的巨大潜力。通过生成生物多样性相关的教学材料，并将生成结果与教科书材料进行比较，得出了LLMs在自动创作高质量教学内容方面的结论。提出了一种名为Learning Navigator（LN）的新框架，自动为高等教育中的新课程生成教学材料。LN由两个主要模块组成，首先是LLM（GPT-4），负责生成课程材料，然后是课程专家小组，负责检查和筛选由LLM生成的教学材料。通过使用交替策略迭代优化这两个模块，所提出的框架在生成不同主题的课程材料时，显示了其高效性和可靠性。

适应性学习（AL）

个性化学习，亦即基于学生的个性化学习档案，动态调整提供给他们的学习内容和策略，以满足他们的个性化需求，已经被广泛认为是提升学生学习效果的有效手段。利用LLMs生成个性化的学习路径，并根据学生的学习进度动态调整内容。

随着LLMs在自然语言处理领域的不断突破，它们在教育领域的应用也展现出巨大的潜力。通过对LLMs在学习辅助、教学辅助、适应性学习和教育工具包等方面的探讨，我们可以看到它们在提高学习效果、减轻教师负担、个性化学习和提供多样化教育工具方面的广泛应用前景。然而，LLMs在教育应用中的广泛推广仍面临诸多挑战，如模型的公平性、伦理问题、数据隐私等，需要进一步的研究和探索。随着技术的不断发展，LLMs有望在教育领域发挥更大的作用，推动教育的创新和变革。

3 可解释性的关键技术和方法

分析了提高其可解释性的关键技术和方法，包括局部解释、全局解释的方法

在这一部分中，我们研究了解释LLM的技术，包括

3.1 局部解释

第一类解释是指解释LLM生成的预测。局部解释旨在解释模型对特定输入进行预测的过程，包括基于特征归因、基于注意力、基于示例和自然语言解释。

3.1.1 基于特征归因的解释

特征归因方法旨在衡量每个输入特征对模型预测的相关性。主要包括基于扰动的方法、基于梯度的方法、替代模型和基于分解的方法。

基于扰动的解释
基于扰动的方法通过扰动输入样本（如移除、掩盖或改变输入特征）并评估模型输出变化来工作。基本思想是移除最少的输入集以改变模型的预测。这种方法的限制在于假设输入特征是独立的，并忽略了它们之间的相关性。此外，基于置信度分数的方法可能因过度自信模型的病理行为而失败。这些问题可以通过使用常规示例的正则化、标签平滑和微调模型的置信度来缓解。

基于梯度的解释
基于梯度的归因技术通过分析输出相对于每个输入维度的偏导数来确定每个输入特征的重要性。这些方法的限制包括不满足输入不变性，无法处理零值输入，受到梯度饱和的影响等。集成梯度（IG）被认为是解决这些挑战的好方法，因为它满足了更多归因的公理。IG及其变体通过在输入在参考点和实际输入之间插值时累积梯度来进行计算。

替代模型
替代模型方法使用更简单、更易于人类理解的模型来解释黑盒模型的单个预测。LIME和SHAP是两个代表性的替代模型方法。LIME在局部采样的数据上训练替代模型以近似原始复杂模型的行为，而SHAP使用整个数据集计算Shapley值。应用SHAP的挑战包括选择合适的方法来移除特征和有效估计Shapley值。

基于分解的方法
分解技术的目标是将相关性分数分解为来自输入的线性贡献。逐层相关性传播（LRP）和泰勒型分解方法（DTD）是两类常用的方法。这些方法可以应用于将相关性分数分解为来自模型组件的贡献，如注意力头、标记和神经元激活。