革命性的进步：语言模型成为科学助理

人工智能咨询培训老师叶梓 转载标明出处

尽管语言模型（LMs）在科学问题解决技能方面取得了显著进步，但现有模型开发主要集中在标准化测试和数据集上，并未充分考虑现实教育场景中的需求。特别是在处理长篇科学文档和模拟真实教学互动方面，现有技术仍存在局限。来自普林斯顿大学的研究团队及其合作者介绍了TUTOREVAL和TUTORCHAT，旨在衡量LMs作为科学助手的实际应用性，并探讨了它们在教育领域的潜力。

TUTOREVAL的示例。在这个例子中，学生向语言模型导师（LM Tutor）提问，并且章节内容和问题一起输入给LM Tutor以生成答案。GPT-4通过参考人类标注的关键点来评估生成的结果

TUTOREVAL，这是一个长期语境问答基准测试，它需要高级科学知识，模拟人类寻求理解教科书材料的过程。TUTOREVAL由800多个专家撰写的问题组成，涵盖数学、物理、计算机科学、环境科学和生命科学等领域。由于通过使用现有对话数据集对基础模型进行微调，在TUTOREVAL上的表现并不理想，研究者创建了TUTORCHAT，这是第一个关于科学的长期对话数据集，包含80,000个关于教科书的长篇合成对话。