UIUC：基于主动学习的LLM弱到强框架

📖标题：Alice: Proactive Learning with Teacher’s Demonstrations for Weak-to-Strong Generalization
🌐来源：arXiv, 2504.07316

🌟摘要

🔸大型语言模型 (LLM) 的增长能力提出了保持有效人类监督的关键挑战。弱到强的泛化 (W2SG) 为使用较弱的 LLM 监督越来越有能力的 LLM 提供了一个有前途的框架。传统的 W2SG 方法依赖于被动学习，其中弱教师提供嘈杂的演示来训练强学生。这阻碍了学生在训练过程中使用他们的知识并达到他们的全部潜力。
🔸在这项工作中，我们介绍了Alice(使用教师演示进行主动学习)，这是一个利用教师和学生之间的互补知识来增强学习过程的框架。我们通过引出教师模型的不确定性来探索教师模型的知识库，然后使用这些见解和教师的反应作为演示来指导学生模型在自我生成改进的监督响应中。此外，对于教师和学生模型之间具有显着能力差距的情况，我们引入了级联 Alice，它采用分层训练方法，其中弱教师最初监督中间模型，然后按顺序引导更强的模型。
🔸实验结果表明，与原始 W2SG 相比，我们的方法显着提高了 W2SG 的性能，在三个关键任务上产生了实质性的改进：基于知识的推理 (+4.0%)、数学推理 (+2.62%) 和逻辑推理 (+12.11%)。这突出了我们新的 W2SG 范式的有效性，该范式可以实现更稳健的知识转移和监督结果。该代码可在 https://github.com/ShujinWu-0814/Alice 公开获取。

🛎️文章简介

🔸研究问题：在教师和学生模型之间存在显著能力差距时，如何有效地进行监督和知识转移？
🔸主要贡献：论文提出了一种名为Alice的主动学习框架，通过教师的示范和不确定性表达，促进学生模型在弱到强的泛化过程中生成更高质量的训练数据。

📝重点思路

🔸论文引入了级联Alice框架，通过弱教师模型指导中间模型，再由中间模型指导强学生模型，逐步缩小能力差距。
🔸Alice方法利用教师模型的输出和不确定性表达，生成更高质量的示范，鼓励强学生模型主动生成和改进其训练数据。
🔸实验中使用了不同大小的教师-学生模型对进行训练，评估其在知识推理、数学推理和逻辑推理任务上的表现。

🔎分析总结

🔸实验结果显示，Alice在多个数据集上显著提高了监督性能，知识推理任务的准确率提高了4.0%，数学推理任务提高了22.62%，逻辑推理任务提高了12.11%。
🔸级联Alice策略通过分阶段知识转移，显著增强了模型的泛化能力，验证了中间模型的有效性。
🔸实验还表明，教师模型不确定性的探测对生成高质量示范至关重要，提升了监督结果的有效性。
🔸多教师方法相较于单一教师方法，进一步优化了学生模型的学习效果，显示了不同模型之间知识传递的价值。

💡个人观点

论文的核心是让强学生模型利用自身优势，对教师模型的示范进行改进，从而从而实现更有效的知识转移。

🧩附录