XTR01的博客

MetaL-Prompt是一种用于轻量级提示生成的元学习方法。其目标是生成能够增强语言模型（LM）上下文学习能力的提示。提示生成模型（PGM）的元训练PGM被初始化为目标语言模型，通过元训练生成有效提示。这一过程称为元学习，因为PGM学会生成能引导目标LM学习有效上下文的提示。可训练填充（Trainable Padding）为减少提示生成过程中多次前向传递的开销，MetaL-Prompt提出了可训练填充。这使PGM可以同时生成多个提示标记。提示设计。

在研究中，Medprompt方法通过结合三种主要技术：动态少样本选择（Dynamic Few-shot Selection）、自生成思维链（Self-generated Chain of Thought）和选项洗牌集成（Choice Shuffle Ensembling），来提升模型在医疗问答任务中的性能。以下是对每种技术的详细介绍及其在Medprompt方法中的综合应用。

图1展示了四种提示方法（prompting methods）在解决不同问题时的比较。这些提示方法分别是（a）标准（Standard）、（b）链式思考（Chain-of-thought, CoT, ReasonOnly）、（c）仅行动（Act-only），和（d）ReAct（Reason+Act），用于解决HotpotQA（Yang et al., 2018）问题和AlfWorld（Shridhar et al., 2020b）游戏中的任务。

其次，我们要求模型描述所识别的子项目的设置（描述所识别的子项目的设置是指根据已经识别出的主题或子项目，详细描述与其相关的具体场景或环境。值得注意的是，当方面词（aspect word）包含多个标记时，其自身距离为0（就是把方面词当作一个整体，如果方面词由多个单词组成则视为一个单词），而正负距离则根据方面词的开始和结束位置来计算（因为方面词是一个整体，所以与方面词的距离按整体来算）。接着，根据原始句子中单词的顺序来确定这些距离的正负性，即句子中从前一个单词到后一个单词的距离为正，反之为负。

在这个移位之后，某些窗口内可能由几个在特征图中不相邻的子窗口组成，因此使用掩蔽机制将自注意计算限制在每个子窗口内（这个子窗口是指被移动的不同颜色的小块构成的，这些有颜色的部分会被遮盖）。最后，处理后的特征与输入问题相结合，并由大型语言模型进行分析，以产生所需的答案。为了实现更平滑的训练初始化，作者对转移的窗口注意力进行了修改，允许它们从零初始化开始学习，避免在初始阶段对早期特征进行过度转换。其中I是输入图像，Q是问题序列，s~是输出序列，s是输入序列， L是输出序列的长度。