In-context learning上下文学习的探讨

• 上下文学习到底学的是什么

  • 任务模式的识别：只关注上文的任务本身，对于上文的任务的映射关系正确与否不关心

        比如上文中提示了爱因斯坦是中国人，后续提问中依然可以在回答格式，回答内容上正确，比如提问秦始皇是，模型回复中国人。

        任务模式的识别能力大概来源于大规模预训练，指令微调过程中所见过的知识的综合总结，也就是对于已经学习到知识的激活。模型的大小对于此能力的影响会呈现随大小变大能力变大，但会很快到达定点。

  • 任务标签映射的学习：学习一个新的知识，新的标签映射关系

        大模型之前的预训练，指令微调过程中未见过的窄领域数据时，需要同时学习到回答格式和新的标签映射关系也就是新的知识。

        任务学习的能力来源于大规模预训练，指令微调过程中所见过的知识，思维链训练带来的推理能力综合得到的。模型的大小对于此能力的影响会随着模型大小不断的变强。

• 上下文学习是如何工作的

  • 基于贝叶斯逻辑的思考：大模型在大量数据的预训练，指令微调处理中学习的各种各样的知识为基础，因为提示上下文的触发激活了相关知识的总结，融合。

        比如秦始皇是哪国人这个问题在之前的训练数据中未出现，但是模型见过秦始皇的个人信息介绍，提到秦始皇是秦王朝的创始人这个知识。同时模型见过秦王朝是中国第一个大一统王朝。所以得出秦始皇是中国人这个结论。