论文浅尝 | 大语言模型在in-context learning中的不同表现

笔记整理：毕祯，浙江大学博士，研究方向为知识图谱、自然语言处理

链接：https://arxiv.org/pdf/2303.03846.pd

本文是谷歌等机构最新发表的论文，旨在研究大模型上下文学习的能力。这篇论文研究了语言模型中的上下文学习是如何受到语义先验和输入-标签映射的影响。作者研究了两种不同的设置，并在各种模型（包括GPT-3， InstructGPT，Codex，PaLM和Flan-PaLM）上进行了实验。实验发现，对于小型语言模型来说，语义先验对于ICL的影响更大，而对于大型语言模型来说，即使有更强的语义先验，也可以通过反转标签或学习无关联标签的方式进行学习任务。此外，作者还发现通过指令学习可以增强语义先验和输入-标签映射的能力。

总体介绍

图1

本文展示了三种不同的上下文学习方式：常规上下文学习、反转标签的上下文学习以及不相关标